搜索：多模态视频大模型

「多模态视频大模型」共找到 8238 篇相关文章

首个实时端侧部署世界模型，20万小时人类视频，BeingBeyond实现「两级跃迁」

4月14日，BeingBeyond发布具身世界模型Being - H0.7，将人类视频规模扩至20万小时，采用隐式推理范式，6项权威评测综合第一。还率先实现端侧实时部署，打通数据闭环，推动模型通用与专家能力跃迁。

学界常用「监督微调（SFT）+ 强化学习（RL）」训练大模型。但新研究发现，SFT 会引发「伪推理路径」，阻碍推理进步。相比之下，直接进行 RL 训练，模型多模态推理上限更高，该团队训练的模型还刷新了纪录。

InfoQ对话格灵深瞳灵感实验室，探讨多模态大模型下视频理解问题。指出传统视频模型抽帧处理浪费算力和信息，介绍LLaVA - OneVision - 2.0突破长视频理解瓶颈，还提及“视觉智能工坊”助力业务落地。

多模态大模型迅速发展，但能否理解人类情绪存疑，且缺乏系统性评测框架。香港中文大学和阿里通义实验室团队提出 MME - Emotion 评测基准，评测 20 个主流模型，发现模型情感智能不足，为后续研究提供参考。

近年来扩散模型在图像和视频生成领域取得突破，但 DiT 模型推理面临计算量大、模型多样、实时性需求等挑战。火山引擎推出 veFuser 推理框架，能在图片和视频生成上实现低延迟、低成本的高质量体验，且未来会持续迭代。

YuanLab.ai团队开源源Yuan3.0 Ultra多模态基础大模型，是万亿级开源多模态大模型之一。它优化训练效率，在多任务表现突出，为企业Agent AI提供支撑，还提出新算法和训练策略，全面开源推动落地。

上海人工智能实验室等机构提出IWR - Bench评测基准，从“image - to - code”迈向“video - to - code”，对28个主流模型测试，最佳模型GPT - 5仅36.35分，指出当前模型短板，为研究指明方向。

Midjourney推出视频生成模型V1，主打高性价比、易上手。采用“图像转视频”工作方式，有两种动画和运动幅度设置。入门价每月10美元，任务成本低，未来一月或调价格，目标是实现实时交互开放世界模拟系统。

当前人像动画扩散模型在人物身份一致性上表现不佳，复旦大学联合多团队提出StableAnimator++，它是首个可学习姿态对齐的视频扩散模型，能生成自然保真的人物动画，还在保持人脸一致性上做了改进。

Pickford提出PickStyle，这是基于扩散模型的视频到视频风格迁移框架。它结合上下文–风格适配器和CS–CFG机制，能在保持画面连贯时准确迁移风格，还能避免闪烁等问题，不过也继承了基础模型部分缺陷。