「自我蒸馏」共找到 433 篇相关文章
陶哲轩回应OpenAI宣称内部实验模型获得IMO金牌：不予置评「测试方法不公开就是“作弊”？」
OpenAI宣称内部实验模型获IMO2025金牌，陶哲轩呼吁对AI竞赛表现保持审慎。他强调评估AI不能只看结果，测试方法很重要，对未公开测试方法的自我报告成绩不予置评。
Adobe 新研究：不用再「喂」训练数据，VLM 靠和自己玩游戏变聪明
Adobe 等机构研究人员提出「Vision-Zero」，借鉴 AlphaGo 自迭代方式，设计让 VLM 自我学习框架。此框架以类似「谁是卧底」游戏训练，不依赖标注数据，在多任务超越有标注的 SOTA 方法。
开源「活人感写作.skill」，只为帮你写出没有AI味的文字。
作者开源活人感写作.skill，旨在帮大家写出无AI味文字。它适配多种模型和产品，鼓励用真实经历创作，除了去除辞章端AI口癖，还会激发思想、验证事实，让大家保留自我。
多模态技术爆发元年，行业应用如何落地？
InfoQ《极客有约》X AICon 直播栏目，邀上海交大赵波、快手高欢、腾讯邵帅探讨多模态大模型。谈及技术挑战、开源闭源、行业落地等，还分享精彩观点，如先大后小蒸馏提效，垂直模型现阶段更优。
刚刚，DeepSeek论文登上Nature，更多细节披露！
9月17日，梁文锋担任通讯作者的DeepSeek - R1推理模型研究论文登《Nature》封面，它是全球首个经同行评审的主流LLM。不靠人工标注，靠强化学习激发推理能力，学会‘自我反思’，在多任务上优于传统模型。
人类或将沦为“NPC”！智谱创始人唐杰最新研判：LLM正从攻克长程任务到全自主进化
智谱创始人唐杰认为今年LLM技术突破点在长程任务，能在智能体环境交互完成复杂任务。随能力提升，将迈向‘无人公司’时代，人类或成‘NPC’。后续要攻克记忆、学习等技术，实现自我进化，重塑产业。
Meta-Harness：让AI 改进自己的Harness
斯坦福IRIS实验室Yoonho Lee团队推出开源框架Meta - Harness，让AI自我优化流程。它像给AI用的‘时间机器’，记录源代码、执行轨迹和评估分数。在任务上表现出色，但也面临耗时、数据爆炸等挑战。
手术刀式去噪突破LLM能力上限，从头预训练模型下游任务平均提高7.2% | 中科院＆阿里
中科院计算所与阿里Qwen等团队联合提出RefineX框架，通过程序化编辑任务实现预训练数据精炼。它将专家指导结果蒸馏为删除程序，训练优化模型。用其净化数据训练模型，下游任务平均提高7.2%。
VLA 推理新范式！一致性模型 CEED-VLA 实现四倍加速！
近年来，VLA模型成机器人领域重要研究方向，但推理速度受限。本文提出一致性蒸馏训练、混合标签监督机制及提前退出解码策略，在多基线模型上实现超4倍推理加速，实验验证其高效通用。
改变强化学习范式，Meta新作呼应Sutton「经验时代」预言
图灵奖得主等提出AI智能体将迎「经验时代」，但训练面临挑战。Meta研究用「早期经验」范式解决问题，包含隐式世界建模和自我反思，提升了智能体任务成功率和泛化能力。