「概念蒸馏训练策略」共找到 2511 篇相关文章
ICLR 2026惊现SAM 3，分割一切的下一步：让模型理解「概念」
9月12日，匿名论文‘SAM 3: SEGMENT ANYTHING WITH CONCEPTS’登陆ICLR 2026，外界猜测出自Meta。SAM 3定义了可提示概念分割任务，性能比之前系统提升至少2倍，在多基准测试获SOTA成绩，但也有人质疑是旧概念包装。
智谱发布GLM 4.5，不仅开源模型还把训练框架也开源了
智谱AI发布GLM 4.5，不仅开源模型，还开源整套后训练基础设施。模型规格亮眼，性能也超越qwen 235b。其开源的训练框架slime专为强化学习扩展设计，完整工具链支持多种模型。
微软、哈佛开源创新优化器：全面超越Muon，提升大模型训练效率
随着大模型训练所需计算资源爆炸式增长，微软和哈佛团队联合开源优化器Dion。它利用低秩近似和解耦动量缓冲区，避免分布式训练同步完整梯度，在集中式和分布式场景都有高效表现，性能超Muon。
理解帮助生成？RecA自监督训练让统一多模态模型直升SOTA
统一多模态模型在视觉理解和生成能力上不平衡，常理解强但生成弱。本文提出重建对齐（RecA）自监督后训练方法，不改动架构，用未标注图像训练，在多模型实验中提升性能，部分达SOTA。
无需人工标注！AI自生成训练数据，靠「演绎-归纳-溯因」解锁推理能力
新加坡国立大学等机构研究者提出元能力对齐训练框架，模仿人类推理心理学原理，将演绎、归纳与溯因能力融入模型训练。实验显示，该方法提升模型在多任务上的性能，且有跨领域可扩展性。
535B大模型“直播”训练三个月：代码、数据、Loss全公开，吴恩达公开力挺
当多数模型公司还在争论是否开放权重时，斯坦福大学的Marin项目启动535B-A23B模型训练，并公开训练过程。该项目旨在探索基础模型能否像开源软件一样被公开研究和建设，引发关注。
千卡集群破壁之道：vivo视觉多模态大模型训练效率跃迁实战
多模态大模型在多领域需求增长，但千卡级 GPU 训练挑战大。vivo AI 架构师王兆雄在大会演讲，结合 LLaVA 和 DiT 模型实践，解析优化策略，分享提升训练效率与稳定性的经验，还展望了 AI Infra 未来。
Google开源黑科技！不用训练的时间序列预测模型，17.9K Star 疯狂追捧！
Google Research团队开源的TimesFM时间序列预测模型获17.9K Star。它零训练、开箱即用，基于1000亿时间点预训练，涵盖多场景数据，还能给出置信区间，已集成到Google多个产品。
李飞飞团队新作：DiT不训练直接改架构，模型深度减半，质量还提高了
本文介绍「嫁接」技术，可在小计算预算下编辑预训练 DiTs 探索新架构。不从头训练，替换算子创建混合架构，保持质量同时减少计算量。还通过实验展示该技术在构建高效架构和文生图模型中的效果。
核心模型被曝蒸馏DeepSeek？前女友一纸控诉，曝出欧版OpenAI塌房真相！
曾被誉为「欧洲OpenAI」的Mistral AI陷入「抄袭」丑闻。前员工在分手小作文爆料其核心技术蒸馏DeepSeek，却误导外界为自主RL成果。此前也有博主发现二者特征相似。蒸馏本身没错，缺乏透明度才是关键问题。