搜索：音视频同出大模型

「音视频同出大模型」共找到 8068 篇相关文章

阿里、南开大学发布免训练，视频大模型创新压缩方法

视频模型序列化处理影响推理速度与扩展性，传统token压缩方法在视频理解中有问题。阿里通义实验室与南开联合发布LLaVA - Scissor，用SCC方法和两步时空压缩策略，实验显示其性能优于其他方法。

本文实测新版LiblibAI，它上线多个模型，添加视频特效玩法。从“找模型”网站变为“AIGC流水线”平台，界面风格转变。虽有亮点，但也存在出图慢、模型惊喜感弱、页面卡顿等问题。

阿里推出世界模型HappyOyster（快乐生蚝），基于原生多模态架构，有漫游和导演两大核心功能，可实时构建和交互。与文生视频模型不同，它能随时被干预。虽世界模型尚处早期，但应用场景广泛。

扩散变换器在视频生成任务性能强，但计算成本高，在手机上难实用。Snap提出创新优化法，加速视频生成，能在iPhone 16 Pro Max上每秒超10帧，不过也存在细节退化等局限。

字节发布InfinityStar框架，将5秒720p视频生成时间从30多分钟缩至58秒，还支持多样任务。它基于对视频本质思考设计时空金字塔模型，将时空分离，通过多项技术优化，性能表现出色，不过也存在一些技术局限。

KrillinAI是多功能音视频本地化与增强方案，面向人类用户和AI Agent。它功能全，覆盖视频处理完整链路；特点多，支持CLI调用等；还兼容多种语音识别、大语言模型和TTS服务，可Docker部署。

北邮、北大等团队提出 AV-NAS，在多模态视频哈希领域引入 NAS，构建含 Transformer 与 Mamba 的统一搜索空间。该方法能自动发现最优跨模态融合机制，揭示音频时序建模中“CNN + FFN”结构更优，代码已开源。

主攻AI视频与多媒体生成技术的独角兽Runway发布5大更新，包括旗舰视频生成模型Gen - 4.5、首个通用世界模型GWM - 1等，展示了其在通用世界模型上的野心，刷新了视频生成指标。

谷歌原生视频模型Gemini Omni意外曝光，其生成视频的连贯性、一致性惊艳，还能实现实时编辑。此前OpenAI的Sora App停服，谷歌I/O 2026将开幕，多款Gemini模型或亮相。

南洋理工大学团队在ACL 2026发表VChain框架，引入大模型视觉推理能力提升视频逻辑连贯性。它分三步实现，实验效果超现有方法，还展示视频推理与生成的潜在趋势，为多模态模型协作提供范例。