推荐文章8
拆解主流大模型,洞悉 LLM 架构演进
机器之心
AI 摘要
Sebastian Raschka 硬核拆解 8 个主流大模型架构。DeepSeek-V3 有 MLA 和 MoE 技术;OLMo 2 归一化策略独特;Gemma 3 用滑动窗口注意力;Kimi K2 用 Muon 优化器,基于 DeepSeek-V3 扩展。
阅读原文 · 机器之心
硬核拆解大模型,从 DeepSeek-V3 到 Kimi K2 ,一文看懂 LLM 主流架构
本文详细列举 8 个主流大语言模型,硬核拆解架构设计与革新思路,介绍架构演进趋势。如 DeepSeek-V3 的 MLA 与 MoE 技术,OLMo 2 的归一化策略,Gemma 3 的滑动窗口注意力机制等。

关注公众号
扫码关注
第一时间收到每日精选
相关文章
新闻资讯8
OpenAI悄悄上架生命科学新模型
本文报道OpenAI在API价格页悄然上线未正式发布的生命科学新模型gpt-rosalind-discovery,梳理OpenAI Rosalind产品线布局,对比头部厂商路径,分析AI+药物发现赛道商业化的机遇与挑战。
DeepTech深科技
新闻资讯9
OpenAI攻克千禧难题 人类看不懂
本文报道OpenAI攻克千禧年数学难题纳维-斯托克斯方程事件,探讨AI生成证明超出人类认知上限的现状,剖析AI对传统科研范式、学术体系的冲击与伦理困境
新智元
开源动态9
清华开源VeriLoop E2 推进黑洞信息悖论研究
针对大模型长链推理、科研任务中无法自我验证结果可靠性的结构性缺口,清华团队推出开源项目VeriLoop E2,拆分模型探索权与外部证据提交权,在多场景完成验证,推进可验证智能发展。
量子位
新闻资讯9
Liam Fedus:AI该进实体实验室了
本文整理了ChatGPT共同创造者Liam Fedus的播客对谈,回顾ChatGPT诞生的内部细节,分享AI领域突破逻辑,提出AI需搭建实体实验室获取真实实验数据,推进材料科学等领域突破,介绍了其创立的Periodic Labs布局。
机器之心