「稀疏混合专家模型」共找到 754 篇相关文章
Sutton判定「LLM是死胡同」后，新访谈揭示AI困境
强化学习之父Rich Sutton直言LLM是死胡同，因其无法从持续实际互动中学习，违背他坚持的原则。在新访谈和圆桌讨论中，多位专家碰撞观点，探讨AI研究问题、强化学习困境及LLM发展走向等。
杀疯了！单卡4090跑通全量微调，面壁1B级多模态性能怪兽硬刚大厂
面壁智能推出MiniCPM-V 4.6，参数约1B，性能和推理效率出色。它在多模态任务综合能力、推理速度上领先竞品，靠ViT架构改造和4倍/16倍混合视觉Token压缩实现创新，有工业验证，对开发者和普通用户意义大。
智算浪潮下的专有云操作系统安全：范式跃迁与信任链重塑
云计算发展使专有云成企业平衡便利与安全之选，但 AI 冲击其安全范式。阿里云三位专家探讨 AI 时代专有云安全，涉及物理隔离价值、新技术重塑安全逻辑、国产 OS 与芯片协同挑战等，还介绍阿里云方案及未来趋势。
MiniMax-M1：全球首个开源超长上下文大模型，超越DeepSeek-R1，推理成本仅1/4
MiniMax-M1是全球首个开源超长上下文大模型，刷新三项记录。它采用混合专家架构，闪电注意力让推理复杂度近乎线性增长。CISPO算法加速训练，成本低。在工业级任务测试表现佳，已开源且方便开发者接入。
ICLR 2026 | 越推越快! 首个面向「Test-Time Scaling」的投机解码基准
文章指出推理阶段扩展（TTS）能提升推理大模型解决复杂问题的能力，但会产生大量冗余计算。为此提出首个面向TTS的投机解码加速综合基准，评测显示N - gram方法在特定场景加速潜力大，混合策略性能更优。
GRPO遭遇瓶颈？G²RPO-A让自适应指导为小模型推理能力「开外挂」
大模型推理能力难迁移到小模型，现有强化学习方法如GRPO在小模型上性能提升有限。香港中文大学（深圳）唐晓莹教授团队提出G²RPO - A算法，缓解小模型奖励稀疏问题，在多模型实验中表现优于vanilla GRPO。
不换GPU，性能飙升2.8倍！英伟达用软件暴打摩尔定律
2026年1月8日，英伟达官网披露，基于Blackwell架构的推理软件栈升级，让混合专家模型（MoE）推理效率迎「阶跃式」突破，单GPU吞吐飙升2.8倍，显著降低推理成本。其通过软件针对性升级发挥硬件潜力，还进行多项优化。
2.4万亿参数原生全模态，文心5.0一手实测来了
文心5.0正式发布，主打原生全模态，支持全模态输入和输出。官方测试显示其多维度表现突出，在LMArena文本排行榜并列全球第二。实测其理解精细、能捕捉细节，技术上采用自回归统一结构和超大规模混合专家架构。
0.027B手机AI模型，估值2亿美金，三个清华学霸如何获得国际大学生创新大赛冠军
10月15日，清华万格智能团队“基于类脑架构的下一代通用模型与智能体生态”获中国国际大学生创新大赛（2025）冠军。团队由三个清华本科生创立，此前已完成融资，估值达2亿美元。其智人HRM模型有诸多优势，还研发出顶尖气候预测专家模型。
顶会具身辩论赛实况：徐丹飞激辩，PI连输三轮，谷歌大佬倒戈
2026年RSS大会workshop圆桌讨论上，五位专家围绕世界模型落地展开辩论。辩题有世界与策略模型该合体还是分开、世界模型可控性靠像素还是动作、训练数据靠互联网人类视频还是具身机器人数据。最终各方有输赢也有共识。