「推理蒸馏」共找到 2132 篇相关文章
英伟达揭示RL Scaling魔力！训练步数翻倍=推理能力质变，小模型突破推理极限
学界对强化学习能否让模型学会新推理技能争论已久，过去研究多悲观。英伟达研究指出，问题源于任务在基础模型训练数据中过度呈现及训练步数不足。其ProRL框架提升训练步数，释放小模型潜力，还构建技术组合拳。
国产推理芯片，赢了英伟达？
算力市场风向生变，国产算力崛起。政策从资金、市场、规则多维度发力，为国产算力扫清障碍。在推理场景中，国产方案性价比更高。其独特分销体系使贸易环节信息透明度低，步入卖方市场，市场也迎来新局面。
DeepSeek被曝自研AI推理芯片
据路透社报道，DeepSeek 正开发自研 AI 推理芯片，欲降低对英伟达和国产芯片依赖。此为重大战略转变，影响英伟达股价。虽有降本等好处，但面临技术、制造、生态等挑战。
16个月后Meta杀回开源，小扎力挺蒸馏
Meta发布新开放AI模型Muse Glimmer底层参数，未来几周将开放Muse Spark 1.2模型权重。扎克伯格力挺开源，称要为数十亿人提供免费强大AI，还为模型蒸馏辩护。Meta此举有现实压力，也想创造算力需求。
让大模型异步地增强推理能力
在大模型推理时代，Test - Time Scaling成提升能力重要方向，但面临效率问题。ATTS提出异步框架，加入共形预测筛选候选路径，实验显示其加速显著，将测试时扩展推进到‘有原则加速’阶段。
担心蒸馏问题，Meta限用Claude Code、Codex
据外媒报道，Meta限制员工在AI模型构建中用Claude Code和Codex，因担心涉及模型蒸馏，且随着AI使用成本上升，Meta想让更多开发工作迁至MetaCode，这揭开了AI Coding时代新问题。
Agent也能蒸馏了！性能超好
大模型运行成本高，普通用户用不起。传统小模型模仿大模型解题步骤易出错。论文提出Agent蒸馏，让小模型学会用检索和代码工具，还加首思前缀与自我纠错“外挂”，使小模型性能直逼大模型。
大概念模型：AI 推理的新范式
大概念模型（LCM）是自然语言处理新范式，侧重结构化推理和理解，与 LLM 不同。它依赖结构化知识，可模拟专家思维，解决当前 AI 缺陷，文章还介绍其架构、应用、局限，探讨与 LLM 结合的未来发展。
蚂蚁开源MedResearcher-R1医学知识图谱+多跳推理
医学领域需处理复杂关系，现有医学AI系统缺乏对罕见实体和复杂关系的推理能力。MedResearcher - R1通过专门图谱和检索工具，结合两阶段训练范式解决问题，在医学基准测试取得新成果。
谷歌揭秘：Multi-Agent 推理时扩展才是未来。
谷歌DeepMind和MIT联合发表论文TUMIX，指出Multi - Agent是推理时扩展的最佳方式，以低成本大幅提升准确率。实验表明Agent多样性优于重复采样，还展示TUMIX机制、实战表现，且LLM能设计更强Agent。