搜索：流式视频理解

「流式视频理解」共找到 1679 篇相关文章

32倍加速，58秒搞定720p视频！字节发布离散自回归框架，统一视觉生成和长视频生成

字节发布InfinityStar框架，将5秒720p视频生成时间从30多分钟缩至58秒，还支持多样任务。它基于对视频本质思考设计时空金字塔模型，将时空分离，通过多项技术优化，性能表现出色，不过也存在一些技术局限。

清华大学TSAIL实验室与生数科技开源视频生成加速框架TurboDiffusion，引发全球AI社区热议。它能在几乎不影响生成质量的前提下，让视频生成速度飙升100 - 200倍，将AI视频带入实时生成时代。

阿里巴巴未来生活实验室团队解决多模态大模型视频推理难题，推出ReWatch数据集和ReWatch - R1模型。数据集克服现有训练数据痛点，模型用SFT + RL范式及创新奖励机制，实验成绩SOTA。

文章提出用于实时交互式长视频生成的帧级自回归框架 LongLive，解决了长视频生成在效率和质量方面的挑战，具备长视频生成、实时推理、高效微调等亮点，还给出安装、推理、训练等步骤。

北邮、北大等团队提出 AV-NAS，在多模态视频哈希领域引入 NAS，构建含 Transformer 与 Mamba 的统一搜索空间。该方法能自动发现最优跨模态融合机制，揭示音频时序建模中“CNN + FFN”结构更优，代码已开源。

自回归视频生成模型存在训推不一致导致的误差累积问题，使生成视频越往后越易出现时序漂移和画面崩坏。HiAR团队推出HiAR，通过共享噪声水平减少误差传递，还解决了动作僵化问题，实现分钟级无退化生成。

美团推出 136 亿参数视频生成基础模型 LongCat-Video，采用 MIT 开源协议。该模型覆盖文本、图像生成视频及视频续写三类任务，能生成分钟级长视频。效率高，评测数据表现佳，安装和运行简便，引网友惊叹。

MiniMax海螺视频团队首次开源，揭晓视觉分词器难题答案。其推出的VTP框架可提升模型性能，解决传统Tokenizer缺陷，还展示了Tokenizer的Scaling Law，为行业提供新路径。

香港浸会大学联合腾讯优图实验室提出 Streamo，将‘何时回答’变为模型预测的 token，通过端到端训练框架把离线视频模型转化为实时流视频助手，还构建 Streamo - Instruct - 465K 数据集，实验效果良好。

2025年12月12 - 13日，第八届GAIR全球人工智能与机器人大会将在深圳举办。腾讯ARC实验室高级研究员胡文博将在13日《世界模型》论坛分享《迈向三维感知的视频世界模型》。他深耕视频生成模型，成果显著。