「蒸馏陷阱」共找到 172 篇相关文章
多模态技术爆发元年，行业应用如何落地？
InfoQ《极客有约》X AICon 直播栏目，邀上海交大赵波、快手高欢、腾讯邵帅探讨多模态大模型。谈及技术挑战、开源闭源、行业落地等，还分享精彩观点，如先大后小蒸馏提效，垂直模型现阶段更优。
Moltbook“造假”刷屏，Clawdbot创始人犀利批判Agent：缺了人纯烧token、只出烂代码，没“审美”
Moltbook 爆火后被指造假，其源于 Agent 开源项目 Clawdbot。OpenClaw 创始人 Peter Steinberger 认可该网站，还分享使用经验，批判“Agent 陷阱”，认为缺人参与纯烧 token、出烂代码，强调人引导 AI 开发的重要性。
未来10000天的可能
作者认为凯文·凯利新书《未来10000天的可能》太水，有价值内容仅占10%。但赞同书中观点，如‘人工智能’应叫‘异人智能’，按人类样子打造AI会限制它，这也是一些大佬反对的‘拟人化陷阱’。
手术刀式去噪突破LLM能力上限，从头预训练模型下游任务平均提高7.2% | 中科院＆阿里
中科院计算所与阿里Qwen等团队联合提出RefineX框架，通过程序化编辑任务实现预训练数据精炼。它将专家指导结果蒸馏为删除程序，训练优化模型。用其净化数据训练模型，下游任务平均提高7.2%。
VLA 推理新范式！一致性模型 CEED-VLA 实现四倍加速！
近年来，VLA模型成机器人领域重要研究方向，但推理速度受限。本文提出一致性蒸馏训练、混合标签监督机制及提前退出解码策略，在多基线模型上实现超4倍推理加速，实验验证其高效通用。
搞不懂Skills？看看Claude Code内部工程师们是怎么玩的
文章来自Anthropic的Claude Code团队工程师，介绍了Claude Code中Skills功能。阐述Skills定义、类型，给出制作技巧，如避免陈述显而易见内容、构建陷阱部分等，还提及分发、管理、组合及衡量效果的方法。
翁荔最新博文深度拆解Scaling Laws：AI行业最信赖的公式，没有那么可靠
6月24日，前OpenAI安全研究副总裁翁荔在博客发表长文，对缩放定律进行系统梳理，指出该理论在实际拟合和外推过程有易被忽视的陷阱，还讨论了数据有限时定律是否成立等问题。
Jeff Dean最新访谈：未来开发者人均50个智能体，写需求成核心技能
谷歌首席AI科学家Jeff Dean在访谈中预言，未来开发者人均管理50个智能体，写需求成核心技能。他还揭秘谷歌帕累托前沿策略，介绍蒸馏技术让小模型接近大模型性能，强调多模态及低延迟价值，给出未来模型发展预测。
实时生成视频！StreamDiT每秒16帧，单卡生成
现有文本生成视频模型多为离线生成，无法满足实时交互需求。加利福尼亚大学与Meta联合提出StreamDiT模型，采用流匹配等方法，蒸馏模型可单卡每秒16帧实时生成512p视频，不过仍有伪影问题。
π0.7来了！涌现出组合泛化、跨本体迁移能力，VLA又行了？
具身赛道玩家 Physical Intelligence 发布新模型 π 0.7，它展现出组合泛化和跨本体迁移能力，还能通过知识蒸馏学会优化技巧。其强大源于杂数据和细提示，未来有望解决复杂任务。