「自我蒸馏」共找到 432 篇相关文章
让AI自我进化，斯坦福新课免费教
斯坦福开设新课CS329A《自我进化AI智能体》，被奉为Agent学习新晋资源宝库。课程由实战派教授授课，介绍扩大模型规模、养成能听懂人话的AI、提升AI能力等内容，还探讨AI自我改进及智能体工作流等。
被曝蒸馏DeepSeek还造假！欧版OpenAI塌房了
被誉为欧洲版OpenAI的Mistral被离职员工爆料多项黑幕，其最新模型疑似直接蒸馏自DeepSeek，却包装成RL成功案例，歪曲基准测试结果。此前就有人发现其模型与DeepSeek相似，目前官方暂无回应。
谢赛宁与Jaakkola团队重磅研究：无数据Flow Map蒸馏
麻省理工学院Tommi Jaakkola和纽约大学谢赛宁团队联合研究，提出无需数据、仅从先验分布采样实现flow map蒸馏的新方法。该方法可规避“教师 - 数据不匹配”风险，在ImageNet实验中表现出色。
数据蒸馏的双重突破：从几何保真到对抗鲁棒
深度学习中，数据集蒸馏可用精简合成样本替代庞大训练集且不牺牲模型性能，但面临精度和可靠性两大难题。两篇发表于 ICCV 2025 和 AAAI 2025 的论文分别给出解决方案，且代码已开源。
NIPS2025 | A-Mem让Agent拥有动态自我记忆功能，达到新SoTA
近年来，LLM代理需长期内存系统，但现有系统缺乏灵活性。论文提出A - Mem能动内存系统，受Zettelkasten启发，能让记忆‘自我整理’和‘自我更新’，在多基准测试领先，也指出了局限性和未来方向。
让AI自我进化？斯坦福华人博士答辩视频火了，庞若鸣参与评审
斯坦福大学博士生 Zitong Yang 完成「持续自我提升式 AI」博士论文答辩并分享视频。他针对当前模型局限提出解决方案，涵盖合成持续训练、预训练能力自我提升、迈向 AI 设计 AI 三个核心方向，引发行业关注。
告别「一条路走到黑」：通过自我纠错，打造更聪明的Search Agent
为解决知识实时性和推理复杂性挑战，搜索智能体（Search Agent）应运而生，但缺乏自我纠错能力。腾讯联合清华提出 ReSeek 框架，引入动态自我修正机制，还构建 FictionalHot 数据集评估，实验效果良好。
刚刚，Thinking Machines Lab博客提出在策略蒸馏，Qwen被cue 38次
Thinking Machines Lab发布《在策略蒸馏》博客，提出在策略蒸馏可结合强化学习纠错与SFT奖励密度，成本低且能让小模型有强大性能。该成果受Qwen团队启发，大量用Qwen3模型。还对比了不同训练方法。
算法1年翻倍，芯片2年翻倍？重磅实锤：AI正在自我加速，拦不住了
NBER论文证明AI研发自我加速反馈环强度远超其他科技领域，芯片效率每2年、算法效率每1年翻倍。部分自动化就能引爆反馈环，全行业13%自动化率或软硬件17%自动化率可触发奇点，6年内AI可能实现自我迭代。
告别海量标注！浙大团队提出GUI-RCPO，让GUI定位在无标签数据上自我进化
浙大等机构研究人员提出GUI - RCPO，这是自我监督强化学习方法，能让模型在无标注数据上提升GUI grounding能力。其通过迁移思想，利用区域一致性自我提升，实验表明该方法有效且有泛化能力。