「多模态基础模型」共找到 8321 篇相关文章
AI能否「圣地巡礼」？多模态大模型全新评估基准VIR-Bench来了
来自日本高校和企业团队提出多模态大模型评估基准 VIR-Bench，用于评测 AI 对旅行视频中地理位置与时间顺序的理解。它将任务拆解，构建数据集，实验显示模型虽有改进但性能远未达标，指明了大模型进化方向。
长达790年视频镜头，打造原生多模态世界模型！北京智源研究院用Emu3.5统一“世界”
北京智源研究院发布并开源基于原生多模态训练的世界学习者Emu3.5，它将视觉和语言视为同一种数据流，在超13万亿token数据上学习，解决长视野多模态信息处理问题，经多阶段训练和优化，能力强大且已开源。
最懂科学的开源基础大模型『书生-S2』发布：科学能力比肩顶尖闭源，通用性能居开源第一梯队
上海人工智能实验室在2026浦江创新论坛发布开源基础大模型书生-S2，该模型科学能力比肩顶尖闭源模型，通用能力居开源第一梯队，创新架构支持专业知识持续扩展，强化长程科研与智能体能力，可为真实科研任务提供支撑。
智源悟界·RoboBrain Orca：多模态表征世界模型
智源研究院悟界·RoboBrain Orca团队发布技术报告，探索让模型学习世界表征，从‘预测下一个词’走向‘预测下一状态’。它通过多模态数据学习，经实验验证有效，虽处早期阶段，但提出值得扩展的方向。
Lumina-DiMOO：多模态扩散语言模型重塑图像生成与理解
上海人工智能实验室推出多模态扩散语言模型 Lumina - DiMOO，它基于离散扩散建模，打破多模态任务壁垒。相比传统自回归架构模型，它解决了生成慢、质量受限等问题，在多项评测中夺魁。
SpAItial发布超逼真3D空间基础模型
德国AI初创平台SpAItial获1300万美元种子轮融资，发布超逼真3D基础模型。其核心技术能理解3D世界，可基于文本或图片生成3D场景，在多领域有革新可能，虽有竞争，但未来有望推动AI三维突破。
Speech LLM 的下一个突破口：你的语音大模型可以是个「带韵律的文本模型」
语音大模型存在‘模态代沟’致性能‘降智’，此前两波改进未根本解决。香港中文大学论文提出TextPro - SLM架构，从输入端破局，仅用约1000小时数据就实现低‘模态代沟’，对多模态模型设计有启发。
750篇论文，彻底把统一多模态模型摸清了
未来迈向AGI需多模态AI系统。南大等联合发表综述，涵盖754篇文献。分析传统路线痛点，介绍统一多模态模型定义、技术路线、训练方法等，还提及应用场景及未来方向。
Waver：面向统一图像与视频生成的高性能基础模型
字节提出的Waver是面向统一图像与视频生成的高性能基础模型，支持T2V、I2V、T2I。它引入新架构、结合筛选流程与质量模型。虽有局限，但表现出色，架构设计独特，功能多样。
VeRL-Omni：面向扩散和全模态生成模型的通用RL后训练框架
VeRL-Omni是面向多模态生成模型的通用RL后训练框架，覆盖多种架构。它有高效多模态rollout、灵活奖励引擎等特性，支持多种硬件，团队还验证了不同训练方式，后续将扩展模型与算法支持。