「多模态学习」共找到 2200 篇相关文章
DiffMoE：动态Token选择助力扩散模型性能飞跃，快手&清华团队打造视觉生成新标杆！
清华大学和快手可灵团队推出DiffMoE，通过创新的动态token选择机制和全局token池设计，拓展了扩散模型的效率与性能边界。实验表明，DiffMoE在多方面超越现有模型，未来集成先进技术或有新增益。
欧洲黑马Mistral Medium 3来了！跑分对标最强Claude，实测大翻车
Mistral AI发布多模态模型Mistral Medium 3，官方称其性能接近Claude Sonnet 3.7且成本低，有诸多亮点。但网友实测结果不一，部分大佬认为性能不如官方宣传，建议别下载。
专访贾奎：世界模型不是Demo是生意，10亿融资到位，跨维智能冲刺IPO｜甲子光年
甲子光年专访跨维智能创始人贾奎，他提出“Physical Token经济学”，认为物理AI不能只依赖巨量投入和宏大叙事。跨维智能近期完成10亿B轮融资，正冲刺世界模型赛道第一股。贾奎还介绍了公司技术路线、世界模型选择和落地进展。
阿里发布首个「音视频实时交互」模型，实现数字人实时视频聊天
阿里发布原生流媒体端到端模型Wan - Streamer v0.1，能实时聆听、观看、思考、说话和响应视频。它在单个Transformer内完成感知等操作，延迟低，具备端到端多模态统一、低延迟等特点。
大模型"温故而知新"实现了！无需历史数据，Octopus 效果超越全数据训练｜CVPR‘26 Octopus
上海交通大学与vivo团队提出全新持续学习框架Octopus，首创无需历史数据的梯度正交化技术。实验显示，它在UCIT基准上表现超SOTA方法，还实现正向后向迁移，适合端侧部署。
TRM思考奖励模型上线，大模型推理质量终于能量化了 | ICML‘26 Oral
大模型推理评测多只看答案，忽略推理过程。上海多校团队提出TRM，用ME² principle刻画推理质量，DAG-based pairwise evaluation还原结构，训练奖励模型，让推理质量可度量、训练和优化。
7,700+ star 微软 SkillOpt 可以训练的Skill
微软研究院开源了SkillOpt（7700+ star），把Skill文档当成‘可训练的权重’来优化。它有独特的6阶段流水线、核心验证门控、Protected Regions机制，还有SkillOpt - Sleep预览功能，让Skill文档可系统化训练。
ACL 2026｜证据摊开看，场景图画清：让流式视频大模型拿捏「何时开口」
随着多模态和大语言模型发展，人类与 AI 交互走向共生。现有视频大模型难把握响应时机，西北工业大学等团队在 ACL 2026 提出 Response - G1 框架，实验显示其提升了模型性能。
从「说错话」到「干错事」：复旦、CityUHK、SMU、UIUC等13家机构联合发布「具身智能安全」综述
具身智能正从实验室走向现实世界，却带来‘干错事’的现实风险。13家机构38位学者联合发布70+页综述，提出‘能力—风险’二象性，梳理各能力层攻击面与风险，还指出研究空白，维护开放资源生态。
35B参数科学性能比肩万亿参数模型，『书生』科学大模型Intern-S2-Preview开源
5月15日上海AI实验室开源新一代大模型预览版Intern - S2 - Preview，尺寸小、科学能力强，在多方面有突破。其深化与昇腾算力生态协同，探索‘通专融合’，科学及智能体能力升级，还优化训推效率。