搜索：概念蒸馏训练策略

「概念蒸馏训练策略」共找到 2511 篇相关文章

苹果新作：内化视觉思考，推理提速 5 倍

Apple研究团队提出Internalized Visual Thinking（IVT），一种将预测性世界建模能力内化到模型表征中的后训练框架。它在训练时预测未来，推理时直接回答，相比Visual CoT推理提速超5倍。

清华大学和面壁智能团队开源MiniCPM 4，有8B、0.5B两种参数规模，以22%训练开销达同级别最优。它在架构、推理、数据、训练多方面创新，性能领先，适用于综述生成、工具调用等场景。

眼下具身赛道都在抢着做机器人的“大脑”，而地瓜机器人发布的世界模型Uranus却剑走偏锋，做机器人开发的基础设施。它能更客观地评测VLA和世界模型，还能做机器人训练的“场地”。

7月23日，“AI大神”李沐开源音频基础模型Higgs Audio v2，构建于Llama - 3.2 - 3B之上，预训练数据丰富。该模型在多个测评中成绩领先，有多种能力，李沐介绍其技术及训练方法。

BiCo是创新AI视觉内容生成方法，能灵活组合图像和视频视觉概念实现可控编辑。它解决现有方法在概念提取和组合上的问题，在多方面表现优异，可用于视频制作、艺术创作等领域。

南加州大学论文指出，AI正让全人类想法和表达同质化，体现在语言、视角和推理三方面。原因包括训练数据有偏差、训练目标求稳、人们过度依赖。研究人员虽在想办法，但效果有限，呼吁勿无节制依赖。

大语言模型爆发让「数据智能体」应运而生，但概念笼统成发展绊脚石。由多顶尖机构组成的联合团队发布论文，首提 L0 - L5 六级自主性分级标准，还对现有研究回顾审视，指明挑战并描绘未来图景。

当地时间7月24日，英伟达创始人黄仁勋发首条推特分享联名信力挺开放权重AI。此事与新开源模型Kimi K3引发的‘Kimi恐慌’相关，‘开源vs闭源’路线之争因此推向高潮。同时，围绕模型蒸馏是否侵权争议不断。

图灵奖得主Geoffery Hinton与姚期智对谈AI相关话题。Hinton认为人脑可给AI借鉴，还探讨人类未来与AI道德，强调训练善良AI重要；他觉得大模型有理解能力，将人类意识特殊化是危险无稽之谈。

在医疗AI领域，模型静态评测与临床问诊能力存在断层。清华刘洋团队提出DOCTOR - R1，将临床问诊建模为POMDP，用强化学习训练。实验验证了其有效性，对医疗AI发展有深远启示。