「超稀疏MoE」共找到 2278 篇相关文章
AGI 新技术路线：下一代稀疏注意力机制 Monte Carlo Attention 开源
超对称技术公司在新版基座模型 BigBang - Proton 中使用的 Monte Carlo 注意力开源。它基于二进制块编码技术，用块间代表交流机制实现线性复杂度，兼具多种注意力机制优点，可满足宇宙尺度建模的上下文长度需求。
华为超节点：用「一台机器」的逻辑，驱动AI万卡集群
在华为全联接大会2025上，华为基于自研灵衢互联协议创新超节点架构，重新定义大规模有效算力新范式。它能解决传统集群通信问题，还推出覆盖全场景的产品组合，并强调‘硬件开放、软件开源’生态战略。
刚刚，Anthropic首超OpenAI！暴买谷歌TPU，Claude杀疯了
Anthropic与谷歌、博通合作打造3.5 GW TPU集群，预计2027年上线。其年化收入破300亿美元首超OpenAI，客户呈指数级增长。但训练和推理成本高，与OpenAI都在冲刺IPO，竞争激烈。
SpaceX估值8000亿美元超OpenAI，IPO就在明年
据华尔街日报爆料，SpaceX正与投资者就新一轮内部股份出售谈判，若达成交易，估值将达8000亿美元超OpenAI。其估值涨速惊人，今年7月才4000亿美元。此外，SpaceX或明年下半年IPO。
AGI新技术路线：下一代稀疏注意力机制Monte Carlo Attention开源
超对称技术公司开源了 Monte Carlo 注意力机制，用于新版基座模型 BigBang - Proton。它在二进制块编码技术上，用块间代表交流机制实现线性复杂度，解决了传统方法的缺点，可实现理论上无限的上下文长度，对现有预训练技术和硬件设计影响深远。
跳过88%专家，保住97%性能！MoE推理的正确玩法| CVPR’26
多模态大模型走向大规模，MoE架构虽降低计算开销，但推理成本仍高。香港科技大学等团队提出MoDES，它是training - free动态专家跳过框架，能跳过88%专家还保留97%性能，推理速度提升2倍。
美国2月9万裁员狂潮，超过去一年！亚马逊甲骨文成最大刽子手
2026年2月美国已裁9万个岗位，超2025年全年。亚马逊、甲骨文、Block等公司因AI裁员，如甲骨文为建数据中心，亚马逊为“去官僚化”。AI重写用人公式，威胁流程型白领等三类人。
苹果提出原生多模态Scaling Law！早融合+MoE，性能飙升秘密武器
如今打造强大多模态模型是AI重要目标，常用方法有局限。法国索邦大学、苹果研究人员开展原生多模态Scaling Laws研究，对比早融合与后融合，探讨多种因素对模型性能影响，发现早融合、多模态MoE优势，为后续研究指明方向。
DeepSeek-V3.2-Exp：用稀疏注意力打破长文本效率瓶颈
在NLP领域，处理长文本时传统注意力机制效率低。DeepSeek团队推出DeepSeek-V3.2-Exp模型，引入稀疏注意力机制，在保持性能同时提高长文本处理效率，降低计算复杂度，在多基准测试中表现良好。
微软开源浏览器Agent，可实时跟踪、控制智能体，超4000颗星
微软在官网开源用于浏览器网络任务的Agent——Magentic - UI，基于Magentic - One开发，支持人机协同。GAIA测试显示其能提升任务完成率和准确率。它以人为本，有独特机制，框架含多阶段，在Github超4000颗星，支持MIT许可证商用。