算法论文8
人大蚂蚁团队发布LLaDA MoE v2及扩展定律
机器之心
AI 摘要
人大高瓴团队与蚂蚁集团:首次刻画混合专家扩散语言模型扩展定律,训练LLaDA MoE v2,用更少资源逼近自回归模型,将开源推理代码和模型权重,为扩规模探上限铺路。
阅读原文 · 机器之心
揭示扩散语言模型扩展定律,人大高瓴团队与蚂蚁集团发布LLaDA MoE v2
中国人民大学高瓴人工智能学院与蚂蚁集团合作,首次系统刻画混合专家扩散语言模型扩展定律,据此训练LLaDA MoE v2,实现扩展效率与智能双重突破,将推动其迈向规模化时代。

关注公众号
扫码关注
第一时间收到每日精选
相关文章
算法论文8
蚂蚁OmniTable驯服3050亿条训练数据
蚂蚁集团论文《OmniTable: A Unified Wide-Table System for Petabyte-Scale LLM Data Curation and Exploration》获VLDB工业赛道最佳论文。其研发的OmniTable系统能管理超35PB、3050亿条以上训练数据,解决数据准备难题,如在SFT任务中大幅缩短周期。
量子位
新闻资讯7
Google发布Gemini 3.8双版本抢智能体入口
9月2日,Google发布Gemini 3.8 Flash和Gemini 3.8 Flash Cyber。前者用于编程等,已稳定上线;后者专用于发现修复漏洞,仅向特定方开放。二者共享基础能力,采用不同安全限制和部署环境。
AIGC开放社区
新闻资讯7
OpenAI Astra核心架构:循环深度引争议
The Information记者爆料OpenAI即将推出的Astra模型采用“recurrent depth”新推理方法,该技术能降本提效,但引发AI安全与可观测性担忧。清华与字节论文解决了循环模型“算力不公平”问题,并给出Scaling Law。
AI寒武纪
产品应用7
Anthropic发布Claude 5.1,最强能力限少数机构用
9月1日,Anthropic发布Claude Fable 5.1和Claude Mythos 5.1,二者用相同底层模型,区别在安全限制和开放范围。Fable面向订阅用户和企业,Mythos仅向少数审核机构开放,此次还尝试新的开放方式。
AIGC开放社区