「多模态语言模型」共找到 8304 篇相关文章
一篇多模态大模型推理技术最新综述
华东师大&字节跳动系统回顾基于强化学习的MLLMs推理进展，涵盖关键算法设计、奖励机制创新及实际应用，探讨了RL在LLMs/MLLMs中的关键设计与优化策略，还涉及多模态大模型推理多方面内容。
MoCa：首个大规模双向多模态表征模型
为解决VLM用于嵌入的痛点，中国人民大学等机构研究者提出MoCa框架，可将单向注意力VLM训练成双向多模态编码器。它分两阶段，实验效果好，未来可拓展模态、提升多语言适应等。
Speech LLM 的下一个突破口：你的语音大模型可以是个「带韵律的文本模型」
语音大模型存在‘模态代沟’致性能‘降智’，此前两波改进未根本解决。香港中文大学论文提出TextPro - SLM架构，从输入端破局，仅用约1000小时数据就实现低‘模态代沟’，对多模态模型设计有启发。
The Batch：841 | 大语言模型正在纠正历史遗留的不公
美国北加州旧不动产契约含种族歧视条款，人工筛查耗时久。斯坦福和普林斯顿大学研究人员微调大语言模型实现自动识别，分析圣克拉拉县契约，发现诸多受影响土地，且揭示少数开发者推动住房隔离，模型已开源。
一个模型读懂所有医学数据，Hulu-Med探索医学大模型开源新范式 | 浙大x上交xUIUC
Hulu - Med是浙大、上交、UIUC等联合提出的通用医学视觉语言大模型，首次在单一模型统一理解医学多类数据。它开源透明，训练成本低，性能媲美GPT - 4.1，为医学AI带来新范式。
The Batch: 929 | Qwen3.5 超越更大模型，领跑视觉基准测试
阿里巴巴发布 Qwen3.5 系列，含 8 个开源权重的视觉 - 语言模型。其小模型表现超大体量 OpenAI 开源权重模型，在视觉任务中整体出色，部分在语言任务也有竞争力。虽团队有人员离职，但阿里承诺加大 AI 投入。
750篇论文，彻底把统一多模态模型摸清了
未来迈向AGI需多模态AI系统。南大等联合发表综述，涵盖754篇文献。分析传统路线痛点，介绍统一多模态模型定义、技术路线、训练方法等，还提及应用场景及未来方向。
官宣！姚顺雨出任腾讯首席AI科学家，带队大语言模型、AI Infra
12月17日腾讯官方消息，腾讯升级大模型研发架构，新成立AI Infra部等。姚顺雨出任首席AI科学家，兼任AI Infra部、大语言模型部负责人，他在智能体方向成果多，论文总引用超1.9万。
工具增强的多模态LLM综述
多模态大语言模型（如GPT - 4V）虽有强大图文理解能力，但受数据稀缺、复杂任务表现不佳和评估标准不统一限制。论文提出为MLLM集成外部工具，构建全景图，覆盖多维度，还指出挑战与对策。
VeRL-Omni：面向扩散和全模态生成模型的通用RL后训练框架
VeRL-Omni是面向多模态生成模型的通用RL后训练框架，覆盖多种架构。它有高效多模态rollout、灵活奖励引擎等特性，支持多种硬件，团队还验证了不同训练方式，后续将扩展模型与算法支持。