「蒸馏模型」共找到 7752 篇相关文章
小扎又开源了：7B实现自监督学习SOTA
Meta发布全新开源视觉模型DINOv3，首次证明自监督学习模型能在广泛任务中超越弱监督学习模型。它用无标注方法，扩展数据和模型规模，支持标注稀缺场景，在多任务实现SOTA。
抖音&LV-NUS开源多模态新模，以小博大刷新SOTA，8B推理比肩GPT-4o
抖音SAIL团队与LV - NUS Lab联合推出多模态大模型SAIL - VL2，以中小参数规模在106个数据集实现性能突破。该模型从架构、数据、训练三方面创新，后经全链路优化，在多数据集验证中表现卓越。
GPT-6要「活」了？MIT新作曝光，AI「自进化」不远了
麻省理工学院推出全新自适应大模型框架「SEAL」，让模型从「被动学习者」变为「主动进化者」。网友猜测GPT - 6可能整合其能力，成为能自主学习的模型，研究虽有局限，但为大模型自进化提供新路径。
RAE的终极形态？北大&阿里提出UniLIP: 将CLIP拓展到重建、生成和编辑
北大和阿里团队提出 UniLIP，解决了统一多模态模型中语义理解与像素重建的矛盾。它创新微调 CLIP，实现图像重建，还提出双条件架构用于生成和编辑，在多基准取得 SOTA 性能。
一段 signature，不仅撬开了 Opus 的隐藏推理，还让 Kimi、GLM 露出了"熟悉感"
研究者发现，将 Opus 等强模型返回的加密推理块交给同家族弱模型，弱模型可能转写出隐藏内容。如用 Haiku 读取 Opus 的加密信息。此外，公开的 Agent 轨迹存在隐私泄露风险，部分开源模型易受 Opus 风格影响。
解码提速15.1倍、多任务性能不降：复旦&引望WAM-Diff2打通自动驾驶VLA自回归—扩散转换
视觉-语言-动作（VLA）模型是端到端自动驾驶主流技术，但自回归解码架构有瓶颈。复旦大学与引望智能联合提出WAM-Diff2，实现自回归VLA向离散扩散模型迁移，解码加速15.1倍，多任务性能不降。
视频生成太慢？英伟达、谢赛宁等发布TMD框架，实现70倍加速
大规模视频扩散模型采样效率低，应用受限。英伟达联合谢赛宁等提出TMD框架，将大型视频扩散模型蒸馏为少步生成器。实验显示，TMD能实现超70倍加速，质量损失小，用户也更偏好其生成的视频。
普林斯顿等高校提出AgentDistill：无需任何训练即可继承大Agent复杂能力，性能提升48%，成本降低90%
在AI领域，大型语言模型智能体计算需求大限制部署，传统蒸馏技术对智能体效果有限。AgentDistill提出解决方案，让学生智能体复用教师智能体的MCP工具包，无需训练继承复杂能力，小模型性能显著提升。
LLM加RL遭质疑：故意用错奖励，数学基准也显著提升，AI圈炸了
华盛顿大学等机构论文引爆AI界，其发现用虚假奖励训练Qwen2.5-Math-7B模型，也能提高MATH - 500成绩。虚假奖励对Qwen模型有效，但在其他模型上有限，凸显RLVR有效性与模型能力有关。
电脑操作、技能、连接器、工作伙伴：豆包的牌来了
最近字节有两个豆包相关新闻，一是在训练超大模型，二是反对模型蒸馏。豆包上线大批 Agent 相关工作任务能力，覆盖办公场景，如电脑操作、技能商店等，过程流畅且可观察，还更新移动端，实现远程控制。