搜索：模态对齐 - AI Reading Hub

「模态对齐」共找到 396 篇相关文章

多模态大语言模型的核心技术架构与训练方法的进化

文章深入剖析多模态大语言模型核心技术架构与训练方法的进化，涵盖建模范式、视觉编码器、语言骨干网络、模态对齐、生成范式及训练方法等方面，介绍其演进路径与代表模型，还提及国内模型创新及开源模型OpenVLA。

Qwen团队等最新研究打破传统认知，揭示‘对齐税’现象。提出置信解码策略，在多架构、评测集上表现出色，能绕过‘对齐税’，提升推理准确率，且工程开销低，为大模型发展提供新思路。

多模态大语言模型正经历范式转变，目标是实现全模态协同交互。但现有评测体系难跟上模型发展。飞捷科思和复旦团队推出 FysicsWorld 基准，可评测模型多能力，还提出 CMCS 策略，为全模态智能发展提供指引。

Google发布Gemini Embedding 2模型，它是业界首个原生支持文本、图片、视频、音频和PDF五种模态的Embedding模型，可将这些数据映射到同一向量空间，在多模态RAG、跨模态搜索等场景有应用，还介绍了跑分、用法、竞品、价格等情况。

英伟达研究团队发布OmniVinci研究，该全模态理解大语言模型用六分之一训练数据，在全模态理解基准测试成绩超现有顶尖模型19.05分。它靠创新架构和数据策略实现效率与性能双突破。

现有生成式视频模型多停留在“外观拟合”，未真正“物理建模”。中山大学等机构提出ProPhy，构建渐进式物理对齐框架，使模型有“分层物理理解”与“空间物理对齐”能力，论文被CVPR2026近满分接收。

上海人工智能实验室提出TPO方案，可让大模型在推理时快速对齐人类偏好，无需更新模型权重。TPO类似文本形式的梯度下降，在多个基准数据集评测中表现出色，还提供“宽深结合”推理拓展策略。

文章从逆强化学习（IRL）视角回顾LLM对齐进展。先介绍强化学习基础及挑战，将LLM生成过程化为MDP，探讨无奖励函数的MDP，说明需神经奖励模型，还阐述通过奖励建模实现IRL及多种优化方法。

在NeurIPS 2025上，NYU&OpenAI就Human - AI Alignment发布Tutorial。指出当前对齐像打地鼠，根源是将其当成静态、单向的，提出HAA框架，强调多元目标、人类全链路话语权及社会 - 技术系统量化监督。

当前人像动画扩散模型在人物身份一致性上表现不佳，复旦大学联合多团队提出StableAnimator++，它是首个可学习姿态对齐的视频扩散模型，能生成自然保真的人物动画，还在保持人脸一致性上做了改进。