开源动态7
22岁小伙开源Mythos架构,参半效同!
量子位
AI 摘要
22岁的Kye Gomez开源OpenMythos,借鉴DeepSeek实现RDT架构。其设计让问题“想多遍”比堆参高效,参数量减半效果相同,还解锁知识组合能力,或改变Scaling主流。
阅读原文 · 量子位
Mythos架构被22岁小伙“逆推”开源了!MoE和注意力借鉴DeepSeek
22岁小伙Kye Gomez将Claude Mythos架构整合开源成OpenMythos,实现带MoE路由的循环深度Transformer(RDT)。该架构仅用一半参数,就能获与传统模型同等效果,吸引学界关注。

关注公众号
扫码关注
第一时间收到每日精选
相关文章
开源动态8
苏剑林揭秘 Kimi K3 架构升级内幕
文章介绍开源模型 K3 架构设计思路。主要探讨 MoE 和 MLA 部分,在 MoE 方面提出 SiTU、Norm、QB 改进;在注意力机制选择 MLA,与 KDA 混合缓解部分问题,还谈及 DSV4、NoPE 相关特点。
Agent的潜意识
新闻资讯7
Noam Shazeer离开谷歌,转投OpenAI
AI传奇人物Noam Shazeer宣布离开谷歌,转投OpenAI。他是Transformer架构论文作者之一,贡献卓越。Sam Altman称等他10年,OpenAI研究负责人欢迎其加入。这对OpenAI是胜利,对谷歌Gemini研发是打击。
机器之心
新闻资讯8
AMD开发者日:AI一线实战话题大集合
AMD AI开发者日揭晓八大硬核GPU Workshop、技术专题及“作品说话”主题分论坛嘉宾与话题,覆盖AI Agent、RLHF、MoE大规模训练等前沿领域,还有多场实操分享。
InfoQ
8
DeepSeek-V4:掀起大模型效率革命
文章深度解读了DeepSeek-V4,从产业、生态和架构维度拆解其效率账本。它成本低,补齐短板适配昇腾芯片,但极致省钱也有代价,如性能衰减、架构复杂等。还探讨了长上下文、MoE与稠密模型路线差异及商业化潜力。
AI科技评论