「自蒸馏微调」共找到 1410 篇相关文章
The Batch: 899 | 更划算的推理
研究人员提出 Delethink 强化学习方法，训练大模型定期截断推理 token 至固定最大数量，以限制处理长思维链成本。经测试该模型在多方面超基线，且缓解计算成本限制，为长上下文推理提供路径。
2025小结：从RL到Agentic RL
作者回顾2025年从RL到Agentic RL的发展，指出Agentic RL存在慢、不稳定、难scale的问题，还探讨了RL与推理、CoT的关系，以及RL的泛化能力，认为RL能提升模型能力但还不稳定，期待明年研究。
Anthropic 研究发现：仅需少量污染文档即可对 LLM 实施投毒
Anthropic的Alignment Science团队研究大语言模型训练投毒攻击，实验发现仅250条恶意样本就能植入“后门”，且模型越大攻击越易，还对微调数据集实验，引发讨论。
清华深研院等开源GUAVA：单图0.1秒出3D形象，打破数字人天花板
清华深研院和国际数字经济研究院的中国团队开源GUAVA，单图0.1秒就能生成3D形象，在速度、效果和成本上远超传统数字人制作流程。它结合EHM模型和3D高斯泼溅技术，有诸多应用场景。
GPT-5认为这个模型是开源界的Claude 3.5——陈天桥朋友圈里的 MiroMind ODR 让我眼前一亮
陈天桥用GPT - 5评测自家开源模型MiroMind ODR，让其应对复杂问题。GPT - 5评价该模型是“开源界的Claude 3.5”，其能力让GPT - 5“点赞”，有闭源模型稳定性和可用性，还具全开放架构。
微软旗下GitHub首席执行官宣布离职
CNBC消息，微软旗下GitHub首席执行官Thomas Dohmke即将离职，他自2021年起担任该职，会年底前留任协助过渡。微软投入巨资发展AI，GitHub已成为核心AI团队一部分。
挤不动的世界机器人大会上，自变量秀出了真·通用具身智能
2025世界机器人大会上，自变量机器人展示多项成果。通用轮式双臂机器人“小量”“小白”能完成制作香囊、家务整理等任务；“量子2号”仿人形机器人动作精准自然；其具身智能基座模型WALL - A有强大泛化性。
Perplexity的终极野心：一个域名，暴露一切
AI搜索新秀Perplexity AI从HubSpot联合创始人处收购os.ai域名，其CEO曾被Chrome拒绝合作后，打造Comet浏览器。Comet有强大AI助手，而OpenAI也将推AI浏览器，AI浏览战争一触即发。
模型压缩与量化：让大模型走向轻量化落地
文章介绍模型压缩与量化技术，其能在保持性能时降低大模型计算和存储需求，实现边缘设备高效部署。还阐述基础知识、关键技术路径、应用场景，并探讨未来发展方向。
逐个token太慢！大模型原生并行出token，CMU、英伟达新作Multiverse
卡耐基梅隆大学（CMU）和英伟达研究者提出Multiverse，这是能实现原生并行生成的新型生成模型。它解决了现有并行生成模型缺乏连贯性等问题，通过多方面协同设计构建推理模型，还开源了生态系统。