「模态代沟」共找到 167 篇相关文章
NVIDIA重磅开源！OmniVinci 仅 9B 模型就拿下多模态冠军！
英伟达推出全模态大语言模型 OmniVinci，架构有三大创新。OmniVinci - 9B 模型表现亮眼，多测试中大幅超 Qwen2.5 - Omni，且训练量仅为其六分之一。其架构经多阶段流程实现全模态理解，还支持多种功能。
阿里一口气发了N款新模型，让我们向源神致敬。
阿里云栖大会发布众多模型，如Qwen3-Max对标顶尖模型，Wan2.5支持音画同出，Qwen3-VL开源且跑分出色，Qwen3-Omni是全模态模型等。发布会上阿里股票涨飞，其构建了全模态、全场景超级生态。
山姆•奥特曼：ChatGPT 用户有三层代沟
OpenAI的CEO山姆•奥特曼在红杉闭门演讲中透露，不同年龄层使用ChatGPT方式不同，老年人当谷歌替代品，二三十岁的人当生活顾问，大学生当操作系统，这反映了AI与人类交互模式的转变。
Qwen3-LiveTranslate：视、听、说全模态同传大模型！
Qwen3-LiveTranslate-Flash 是基于大语言模型的多语言实时音视频同传模型，依托 Qwen3-Omni 能力与海量数据，有多语言和方言支持、视觉增强等亮点，性能超主流大模型。
登顶多模态推理榜MMMU！UCSD新方法超越GPT-5、Gemini
加州大学圣地亚哥分校团队开发的DreamPRM-1.5在MMMU测评榜夺冠，超越GPT-5、Gemini 2.5 Pro Deep-Think。它细化加权粒度到样本，有Instance Table和Instance Net架构，采用双层优化与生成式奖励模型。
全模态RAG突破文本局限，港大构建跨模态一体化系统
香港大学黄超教授团队开源多模态智能处理系统RAG - Anything，突破传统RAG技术单一文本局限，整合多模态文档解析等核心能力，解决现有RAG系统痛点，具备多方面技术亮点，有便捷部署方式和多场景应用模式。
腾讯混元最新开源：一套RL框架打通多个模态，庞天宇团队新作
大语言模型的RL技术已成熟，但多模态生成模型的强化学习训练仍“各自为战”，制约AIGC模型能力上限。腾讯混元庞天宇团队开源UniRL框架，打通多模态RL后训练，覆盖多种模型，内置算法与奖励组件。
VeRL-Omni：面向扩散和全模态生成模型的通用RL后训练框架
VeRL-Omni是面向多模态生成模型的通用RL后训练框架，覆盖多种架构。它有高效多模态rollout、灵活奖励引擎等特性，支持多种硬件，团队还验证了不同训练方式，后续将扩展模型与算法支持。
治好多模态近视和走神！上海大学去偏干预显著提升模型性能
多模态大模型存在“近视”和“走神”问题，总是过度关注图像底部而忽略核心内容。上海大学与南开大学研究团队用两条数学公式去偏干预，无需增加计算成本，却能显著提升主流模型视觉理解能力。
从VLA到RoboOmni，全模态具身新范式让机器人察言观色、听懂话外音
复旦大学等联合推出全模态端到端操作大模型RoboOmni，统一多模态，实现动作与语音协同控制。它重新定义机器人交互范式，让机器人具备“察言观色”能力，还构建了OmniAction数据集，实验表现全面领先。