「大模型蒸馏」共找到 9148 篇相关文章
监督学习未死，一题训练五小时起飞！华人学者新方法20倍训练效率释放大模型推理能力
大模型推理能力研究中，RL训练资源成本高、不稳定，传统SFT低数据量易过拟合。加拿大滑铁卢大学华人团队提出One - Shot CFT方法，用一题多解多点评训练，仅需约5个GPU小时，效果好、稳定性强。
《AI大模型时代老板必修课》
阿里云蒋林泉与钛媒体刘湘明在云栖大会展开《AI大模型时代老板必修课》对谈，围绕企业AI落地多方面关键议题交流。探讨了CIO角色进化、AI业务价值界定、企业战略制定等内容，为决策者提供实践指南。
社区供稿丨迈向AI4S 2.0，上海AI实验室开源书生万亿科学大模型Intern-S1-Pro
2月4日，上海人工智能实验室开源万亿参数科学多模态大模型Intern - S1 - Pro，为AI4S迈向2.0时代提供开源基座。其核心能力跃升，架构创新，协同通用与科学能力，还构建‘算力 - 算法’基座，高质量开源赋能生态。
多模态技术爆发元年，行业应用如何落地？
InfoQ《极客有约》X AICon 直播栏目，邀上海交大赵波、快手高欢、腾讯邵帅探讨多模态大模型。谈及技术挑战、开源闭源、行业落地等，还分享精彩观点，如先大后小蒸馏提效，垂直模型现阶段更优。
ICLR 2026｜在「想象」中进化的机器人：港科大×字节跳动Seed提出WMPO，在世界模型中进行VLA强化学习
香港科技大学 PEI - Lab 与字节跳动 Seed 团队提出 WMPO 新范式，可让具身智能在‘想象中训练’，解决传统 VLA 训练瓶颈，目前论文、代码与模型均已开源。
6666！NuerIPS满分论文来了
NuerIPS唯一满分论文结论惊人，指出真正决定推理上限的是基座模型本身而非强化学习，且蒸馏比强化学习更有望实现大模型自我进化，这给正火热的RLVR泼了冷水。
多轮Agent蒸馏终于不翻车！港中文x通义新方法成功率暴涨18点，训练还快32%
香港中文大学联合阿里通义事业群提出TCOD训练方法，解决多轮Agent蒸馏稳定性难题。它只需对现有OPD代码做极少改动，提升了模型成功率，压缩行动步数，还减少训练时间，未来或成训练长程Agent标配。
颜水成领衔，给AI分段位！超100款多模态模型，无人达到L5
十所顶尖高校联合发布General - Level评估框架和General - Bench基准数据集，用五级分类制明确多模态通才模型能力标准。评估超100款模型，发现多数在L2 - L3，无L5模型，揭示当前模型不足。
ICLR 2026 Oral｜大模型总爱「想太多」？ DECS从源头消除冗余思考，实现推理token减半且性能不降反升
以DeepSeek - R1等为代表的大型推理模型存在过度思考问题，造成大量冗余计算。复旦大学等团队在ICLR 2026 Oral论文中揭示‘长度惩罚’局限性，提出DECS框架，在多基准测试中实现推理长度减半且性能提升。
无需训练，直接「算出」最强AI！理想汽车发现端侧Scaling Law
理想汽车基座模型MindVLA团队与国创决策智能技术研究所联合发布论文，提出面向端侧大语言模型的「硬件协同设计扩展定律」，解决大模型部署在端侧设备的难题，实现软硬协同设计，提升模型性能和研发效率。