「模型蒸馏」共找到 7690 篇相关文章
OpenAI和Anthropic费尽心机加密的思维链，竟然能被轻松提取？
围绕大模型蒸馏争议已久，此前外部团队难获闭源模型完整推理。8 月 10 日研究者公开方法，可让弱模型读取旗舰模型密文并输出推理，还发现公开智能体轨迹存在隐私泄露问题，不过未为蒸馏指控提供决定性证据。
社区供稿丨揭秘端到端文档OCR模型 POINTS-Reader
腾讯开源端到端文档OCR模型POINTS-Reader，论文被EMNLP 2025主会录取。它提出可扩展数据生成方案，具简洁、性能好、高吞吐量等特点，通过两阶段训练方案解决依赖蒸馏数据问题，在多基准测试表现佳。
2025 年中丨大模型市场分析报告
这是《2025年中丨大模型市场分析报告》。指出基础大模型塑造计算未来，企业重心转向推理。Anthropic超OpenAI成市场头号玩家，开源模型采用趋缓，企业换模型重性能，AI支出从训练转向推理。
0.3B参数，600MB内存！腾讯混元实现产业级2Bit量化，端侧模型小如手机App
腾讯混元团队推出面向消费级硬件的“极小”模型HY-1.8B-2Bit，参数量仅0.3B，内存占用600MB。它基于产业级2Bit端侧量化方案，生成速度提升，还通过多种方法提升能力，未来将探索新技术缩小与全精度模型差距。
告别单一大模型依赖！北航等机构发布综述：大语言模型集成（LLM Ensemble）
北航等机构发布的论文系统性回顾了LLM Ensemble领域进展，介绍分类法、相关问题、方法、基准、应用和未来方向。LLM Ensemble指推理阶段综合利用多模型优势，现有推理前、中、后三大集成范式。
LLM内部竟藏着众多策略模型？自所&腾讯团队首次揭示大模型RL新机制
中国科学院自动化研究所与腾讯AI Lab团队，从可解释性分析出发，发现LLM内部含多个可采样内部策略，揭示不同模型推理熵模式，提出BuPO算法，在复杂推理任务上表现优于传统算法。
Thinking Machines 发布又一神作「在线策略蒸馏」 ，LLM后训练效率飙升50-100倍
Mira的THINKING MACHINES开源「在线策略蒸馏」LLM后训练方法，结合两种主流后训练范式优点，提升训练效率50 - 100倍，成本降低9到30倍，可用于数学推理、模型个性化等场景。
多轮Agent蒸馏终于不翻车！港中文x通义新方法成功率暴涨18点，训练还快32%
香港中文大学联合阿里通义事业群提出TCOD训练方法，解决多轮Agent蒸馏稳定性难题。它只需对现有OPD代码做极少改动，提升了模型成功率，压缩行动步数，还减少训练时间，未来或成训练长程Agent标配。
颜水成领衔，给AI分段位！超100款多模态模型，无人达到L5
十所顶尖高校联合发布General - Level评估框架和General - Bench基准数据集，用五级分类制明确多模态通才模型能力标准。评估超100款模型，发现多数在L2 - L3，无L5模型，揭示当前模型不足。
60%情况下，主流大模型没理解风险只是装懂！别被模型的“安全答案”骗了
研究发现超60%案例中主流推理模型生成合规答案却未真正理解风险，存在系统性漏洞。淘天集团团队引入“表面安全对齐”术语，推出Benchmark研究该现象，还介绍了数据集生成流程及评测指标。