搜索：多模态视频大模型

「多模态视频大模型」共找到 8238 篇相关文章

谢赛宁等推出统一多模态模型！替代VAE实现图像理解/生成双SOTA，代码权重数据集全开源

谢赛宁等团队推出统一多模态模型Blip3 - o，用扩散Transformer生成CLIP图像特征，采用顺序预训练策略。对比多种设计方案，确定CLIP + Flow Matching最佳，模型在多任务测试表现卓越且全开源。

在生成式媒体技术发展背景下，fal.ai 作为生成式媒体 infra 公司迅速崛起。它通过统一 API 与云端平台提供多模态模型调用能力，2025 年收入增长 60 倍并完成融资。文章解析其如何构建护城河及对行业发展的判断。

近日美团推出多模态统一大模型 STAR，以“堆叠自回归架构 + 任务递进训练”实现理解与生成双重突破。它解决行业痛点，通过三大核心设计统一能力，实验在多任务中表现顶尖，还给出后续探索方向。

香港大学、香港科大与腾讯ARC Lab联合提出SCoPE，让视频模型处理位置关系的基底从张量网格转向射线空间。它将相机射线坐标注入Video DiT，新增参数不到原模型0.1%，多方面表现获改善。

近日，新加坡国立大学 Minghui Guo 与牛津大学 Shengqiong Wu、Hao Fei 在论文中提出视频表征自编码器 V-RAE。它以冻结的视觉基础模型为编码器压缩视频特征，还引入轻量级模块聚合信息。经实验验证，其在视频生成和预测上性能出色。

国内大模型竞争分资源派、技术派、国家队三阵营，多模态成竞争分水岭。阶跃星辰成立两年发22款自研基座模型，16款为多模态。其坚持理解生成一体化路线，在多模态领域有优势，还布局多应用场景。

作者在火山引擎发布会现场，认为视频生成模型Seedance 1.0 pro最酷。从多镜头组合、运动质量、情绪、运镜、物理动态效果、风格化六个维度测评，该模型各方面表现出色，无明显短板，已开放给企业用户，今日在豆包App全量上线。

7月26日，上海AI实验室在WAIC 2025上发布并开源科学多模态大模型Intern-S1。它融合多学科知识，首创跨模态科学解析引擎，在多学科任务上超越顶尖闭源模型，还支撑构建了多智能体系统。

来自多机构研究人员构建PhyX基准测试，评估多模态模型物理推理能力。测试显示，即便表现最佳的GPT - o4 mini准确率仅45.8%，远不及人类的75.6%，且模型在多方面存在结构性缺陷。

AI视频初创公司Video Rebirth完成5000万美元融资，由刘威博士创立，致力于打造“视频原生的世界模型”。融资用于视频模型迭代等，解决行业痛点，其核心创新机制让模型表现突出。