「蒸馏陷阱」共找到 166 篇相关文章
ICML 2026｜告别「单线程」思维，智能体进化出了原生的并行推理大脑
北京通用人工智能研究院语言交互实验室提出原生并行推理器NPR，它有「自蒸馏 + 并行强化学习」三阶段训练范式，配套并行推理引擎，让并行推理成模型原生认知能力，还介绍了其具体实现、实验结论等。
0.3B参数，600MB内存！腾讯混元实现产业级2Bit量化，端侧模型小如手机App
腾讯混元团队推出面向消费级硬件的“极小”模型HY-1.8B-2Bit，参数量仅0.3B，内存占用600MB。它基于产业级2Bit端侧量化方案，生成速度提升，还通过多种方法提升能力，未来将探索新技术缩小与全精度模型差距。
LangChain联合Manus季逸超最新分享！也许当前最好的「上下文工程」讲解
文章由LangChain创始工程师与Manus联合创始人深入探讨上下文工程，介绍其兴起背景、重要策略。指出AI Agents上下文膨胀致性能下降，上下文工程能解决此问题，还阐述了避免模型专业化陷阱及相关实战经验等内容。
又一推理新范式：将LLM自身视作「改进操作符」，突破长思维链极限
Meta等机构研究者将LLM视为「思维」改进操作符，探究并行 - 蒸馏 - 精炼（PDR）推理方法。实验显示，PDR在数学任务中提升准确率，还训练8B模型让推理方法更适配，减少训练与部署的不匹配。
ACM MM 2025 | 小红书AIGC团队提出风格迁移加速算法STD
小红书AIGC团队提出风格迁移加速算法STD。现有一致性模型在风格化任务有缺陷，文章提出从部分噪声状态出发的训练框架STD，设计轨迹状态库减轻计算负担，引入非对称对抗损失增强风格一致性，实验显示其效果优。
普林斯顿等高校提出AgentDistill：无需任何训练即可继承大Agent复杂能力，性能提升48%，成本降低90%
在AI领域，大型语言模型智能体计算需求大限制部署，传统蒸馏技术对智能体效果有限。AgentDistill提出解决方案，让学生智能体复用教师智能体的MCP工具包，无需训练继承复杂能力，小模型性能显著提升。
曝梁文锋不满内部会议泄露，DeepSeek或暂停新融资；卡帕西入职Anthropic仅两月疑离职；日媒拆解宇树G1后认输：短期内赶不上中国｜AI周报
这篇AI周报涵盖多则热点，如DeepSeek因会议纪要外泄或暂停融资；AI大神Karpathy入职Anthropic两月引离职传闻；美国指控K3蒸馏大模型，黄仁勋等支持开源AI；还有企业人事变动、模型发布及应用等消息。
给Agent装上“海马体”！上海AILab开源MemVerse，定义多模态记忆新范式
上海人工智能实验室开源MemVerse，这是首个面向智能体的通用多模态记忆框架。它将多模态信息与文本对齐到统一语义空间，首创‘双通路’架构与‘记忆蒸馏’技术，让智能体有终身记忆能力，在多模态任务中表现出色。
Claude还是最强，但Anthropic这周好像疯了
Anthropic状告阿里蒸馏模型致其股价创新低。一位87年创业者用AI搭工作流，起初用DeepSeek和Qwen问题多，换Claude后流程顺畅。MRCR v2测试显示国产模型与Claude有差距，便宜与省心模型该怎么选成问题。
在参与OpenAI、Google、Amazon的50个AI项目后，他们总结出了大多数AI产品失败的原因
Aishwarya Naresh Reganti 和 Kiriti Badam 参与超50个企业级AI产品构建。他们指出，如今AI产品构建成本降低，但多数仍失败。还分享开发陷阱与路径，如从低自治高控制起步、建立CC/CD框架等，也对AI未来发表看法。