「MoE层」共找到 450 篇相关文章
Dense、MoE之外第三条Scaling路径：交大提出JTok模块，省1/3算力
上海交通大学与小红书Hi Lab联合团队提出JTok/JTok - M模块，作为插件挂载在Transformer层，几乎不增算力和显存开销却显著提升性能。该模块构建新scaling路径，在多任务测试中全面提分，为大模型发展提供新方向。
Transformer祖传设计遭暴击，COLM顶会三篇论文发难
COLM 2026上，三篇论文对Transformer关键技术发难。《Cracks in the Foundation》指出长上下文架构选择影响大；《Lost in Backpropagation》揭示输出投影层信息损耗严重；《When Fewer Layers Break More Chains》表明层剪枝影响长链推理。
大模型训练的不稳定性有望彻底解决，MIT新研究用谱正则化替代层归一化
MIT团队创造Lipschitz Transformer，用谱正则化替代层归一化，认为或解决训练不稳定根本原因。他们对比多种方法权衡，发现Muon + 奇异值裁剪推动权衡边界，且工作完全开源。
mem0推出王炸mcp工具OpenMemory，打造用户私有、跨应用的共享记忆层
mem0项目推出OpenMemory MCP，这是专为兼容MCP的AI客户端设计的私有记忆层，能解决跨AI工具的Context共享问题。它强调隐私和本地控制，功能实用，获用户积极反馈。
「说 Harness 会被淘汰的，肯定没做过工程」，Kimi 前 CLI 负责人戳破了 AI 圈最大的误解
AI编程圈两极分化，围绕底层Harness是否消失争议不断。前Kimi CLI负责人stdrc提出反常识观点，认为模型越强Harness越厚，复杂度从“能力层”转移到“协作层”，还以Kimi CLI实践及Raft创业为例阐述。
3 天上了两个 SOTA 模型，视频 Agent 们接得过来吗？
7月31日MiniMax H3和字节跳动Seedance 2.5同日发布，3天后H3开源，8月7日Seedance 2.5开放api。模型变强使产品层要做的事更多，视频Agent需解决生产问题，竞争走向模型层之上。
写在 Claude Design 发布之后：如果明天巨头做掉了你的核心功能，你该怎么办？
Anthropic 发布 Claude Design，可从提示词生成设计稿等，让 Figma 市值蒸发。这引发对 AI 应用层产品的思考，当基础模型厂商收回能力，靠能力缺口的产品将失重，应用层需从工作流、数据等找机会。
Axiom Math 对谈 SGLang：模型的下一步是可验证，结果层才是真正的护城河
在AGI Playground 2026圆桌论坛，Axiom Math联合创始人等探讨AI核心问题。提到AI进入生产环境，可验证或成瓶颈，还从长任务智能体、推理基建等多方面深入交流，如模型验证、基建优化等。
6.1B打平40B Dense模型，蚂蚁开源最新MoE模型Ling-flash-2.0
蚂蚁百灵大模型团队开源 MoE 大模型 Ling-flash-2.0，其以轻量级配置展现卓越性能，在推理速度、任务性能、部署成本间找到新平衡，为大模型‘参数膨胀’提供新路径，还在多领域应用表现出色。
刚刚，Cursor被扒底裤！Claude Code套壳实锤，500亿估值全靠Ctrl+H？
知名开发者逆向分析发现，Cursor 3.0实锤套壳Claude Code，将其包装成「自主研发」。Cursor官方称是A/B测试，但证据显示更像正式集成。此事折射出AI应用层困境，应用层玩家只能在「外围战场」厮杀。