「一致性蒸馏训练」共找到 2334 篇相关文章
ICML 2026｜告别「单线程」思维，智能体进化出了原生的并行推理大脑
北京通用人工智能研究院语言交互实验室提出原生并行推理器NPR，它有「自蒸馏 + 并行强化学习」三阶段训练范式，配套并行推理引擎，让并行推理成模型原生认知能力，还介绍了其具体实现、实验结论等。
一个模型超了DeepSeek R1、V3，参数671B，成本不到350万美元
Deep Cogito 是旧金山 AI 初创公司，开源四款混合推理模型。最大 671B MoE 模型性能超 DeepSeek v3 等，推理链比 DeepSeek R1 短 60%，训练成本不到 350 万美元。核心方法是迭代蒸馏与增强。
Agent-World：扩展真实世界环境，让智能体与环境协同进化！
文章提出Agent-World，将“智能体环境探索”与“自进化训练”结合，构建了1978个环境、19822个工具。实验表明，其在23个基准上一致性优于先进方法与强开源基础模型，还分析了环境规模与自进化对性能的影响。
电脑操作、技能、连接器、工作伙伴：豆包的牌来了
最近字节有两个豆包相关新闻，一是在训练超大模型，二是反对模型蒸馏。豆包上线大批 Agent 相关工作任务能力，覆盖办公场景，如电脑操作、技能商店等，过程流畅且可观察，还更新移动端，实现远程控制。
Meta提出Deep Think with Confidence：几乎啥都不用动，就能提升推理的准确性与效率
传统自一致性方法虽能提升推理准确率，但计算开销大、收益递减。Meta AI与UCSD团队提出Deep Think with Confidence（DeepConf），可在不增训练成本和不调超参数下，提升推理准确性与效率，本文对其全面解读。
DeepSeek-R2尚未问世，微软小模型捡漏称王？6000样本炼出「数学作弊器」！
微软推出Phi-4推理模型系列，参数最多14B，能在本地高性能笔记本电脑上流畅运行。Phi-4-mini-reasoning在数学推理上性能超越DeepSeek-R1蒸馏模型，且参数规模更小。文章还介绍了模型特点、训练方法、性能表现及局限性等。
Jina Code Embeddings: 为高质量代码搜索而生的0.5B/1.5B向量模型
本文介绍了 Jina AI 开源的代码向量模型 `jina-code-embeddings`，含 0.5B 和 1.5B 规模，有 GGUF 量化版本。它性能顶尖，支持多任务与 15 种语言，还介绍了训练方案、使用方法等。
通义实验室最新成果WebDancer：开启自主智能Deep Research的新时代
通义实验室推出 WebDancer，解决自主信息检索智能体构建难题。它创新合成训练数据，采用两阶段训练策略应对开放网络训练挑战，在多个基准测试中表现卓越，未来还将拓展能力。
字节清华智能体自动写CUDA内核，比torch.compile加速2.11倍
字节Seed与清华AIR团队开源CUDA Agent，在GPU内核优化基准KernelBench上成绩优异。它是大规模智能体强化学习系统，训练数据经多阶段构建，分阶段训练，全面超越商业模型，还开源了训练数据集。
Cursor Composer 2.5 拆解：最强大的 RL 环境，就是你自己的产品
今年5月，Cursor推出Agentic编程模型Composer 2.5，相比前代能力更强、成本效率更高。Cursor研究负责人认为最强大的RL环境就是自己的产品，文中还介绍了Composer 2.5训练方式、面临的挑战及解决办法等。