搜索：分布匹配蒸馏

「分布匹配蒸馏」共找到 318 篇相关文章

16个月后Meta杀回开源，小扎力挺蒸馏

Meta发布新开放AI模型Muse Glimmer底层参数，未来几周将开放Muse Spark 1.2模型权重。扎克伯格力挺开源，称要为数十亿人提供免费强大AI，还为模型蒸馏辩护。Meta此举有现实压力，也想创造算力需求。

据外媒报道，Meta限制员工在AI模型构建中用Claude Code和Codex，因担心涉及模型蒸馏，且随着AI使用成本上升，Meta想让更多开发工作迁至MetaCode，这揭开了AI Coding时代新问题。

大模型运行成本高，普通用户用不起。传统小模型模仿大模型解题步骤易出错。论文提出Agent蒸馏，让小模型学会用检索和代码工具，还加首思前缀与自我纠错“外挂”，使小模型性能直逼大模型。

本文爆料Anthropic风控动态，上半年封禁1140万疑似数据蒸馏账号，申诉胜诉率仅10%，大量正常用户被误杀，同时对比了中外大模型的使用体验差距。

全球电商巨头亚马逊发布AI购物助手Amazon Lens Live，可实时扫描、匹配商品。它操作便捷，集成Rufus提供建议问题和亮点摘要。背后有强大技术支撑，已面向美iOS用户开放，将逐步推广。

4月30日，加州奥克兰联邦法院，马斯克诉OpenAI案进入第四天。马斯克承认自家Grok模型部分蒸馏了ChatGPT，还为AI公司排名，xAI垫底。法官拦下讨论AI灭绝话题，下周OpenAI联合创始人将出庭。

香港理工大学与西北工业大学联合研究指出，当前大语言模型对齐机制仅实现表层合规，预训练时内化的有害知识仍潜藏。遇数据分布偏移，模型“黑暗模式”易被激活。26个主流模型中22个在攻击下失效，凸显现有范式缺陷。

本文介绍清华大学联合多校团队提出样本分布训练新生成方法，发布MGFlow、Elastic Forcing两项成果，分别实现一步生图SOTA、14B流式视频模型单8卡后训练，为实时多模态交互开辟新路径。

本文整理拾象邀请多家头部模型厂商一线AI研究员的线下闭门讨论，围绕大模型前沿方向分享业内共识与分歧，涵盖Computer Use、RSI、模型蒸馏、训练数据、数据生意等核心议题，干货密度高。

大型语言模型推理延迟高、开销大，推测解码可加速但依赖草稿与主模型一致性。佐治亚理工等团队提出 AdaSPEC 蒸馏法，过滤难学 token，提升草稿模型与目标模型对齐度，实验显示能提升接受率和推理速度。