「音视频识别模型」共找到 8153 篇相关文章
谢赛宁也玩MC？开源全新世界模型生成多人一致的游戏视角
电子游戏推动AI发展，谢赛宁团队探索世界模型新方向，推出多人视频世界模型Solaris。该模型能生成多人一致的第一视角，团队还搭建了多人数据采集系统SolarisEngine，构建了多人Minecraft数据集。实验结果显示，其方法在多方面表现更优。
AI能否「圣地巡礼」？多模态大模型全新评估基准VIR-Bench来了
来自日本高校和企业团队提出多模态大模型评估基准 VIR-Bench，用于评测 AI 对旅行视频中地理位置与时间顺序的理解。它将任务拆解，构建数据集，实验显示模型虽有改进但性能远未达标，指明了大模型进化方向。
视觉领域的GPT-3时刻！DeepMind首次证明Veo3模型实现对物理世界建模和推理
谷歌DeepMind研究团队论文显示，视频模型Veo 3学会‘无师自通’，能处理多种没学过的视觉任务。研究人员将其能力分四级，还做了定量评估。研究认为机器视觉或正处范式转变边缘。
ChatGPT到底学了多少「污言秽语」？清华团队首提大语言模型中文语料污染治理技术
清华等团队研究发现，先进ChatGPT系列模型中文词表污染达46.6%，含色情、赌博等词元。团队定义分类中文污染词，构建识别模型，还能由词表污染估计数据污染，为语料治理提供方案。
生成视频总出物理bug？用VLM迁移+token级对齐，让燃烧在正确位置发生，碰撞遵循动量守恒丨CVPR 2026近满分接收
现有生成式视频模型多停留在“外观拟合”，未真正“物理建模”。中山大学等机构提出ProPhy，构建渐进式物理对齐框架，使模型有“分层物理理解”与“空间物理对齐”能力，论文被CVPR2026近满分接收。
分享2个模型省钱大法
文章分享两个大模型API省钱技巧。一是文本转截图，适用于输入长输出短、费用花在输入token的任务；二是音频加速识别，OpenAI语音识别模型Whisper按音频时长收费，加速音频可省钱，还可包装成API服务盈利。
The Batch: 868 | AI 视频走向主流
生成式视频席卷网络爆款、广告宣传，甚至登陆 Netflix 剧集。如 Dor Brothers 用 AI 打造爆款视频，Genre.ai 低成本制作广告。各主体制作方式有别，顶尖模型开发商也积极与影视方合作，AI 正改变影视业。
0.005%参数量超越SOTA！提升模型能力无需庞大奖励模型
上海交通大学等校联合团队提出轻量级奖励模型SWIFT，利用大模型隐藏状态线性特征，仅训练极小线性层，在推理任务中超越主流奖励模型，实现计算效率与准确率双提升，且在多领域表现出色。
500万视频数据集+全新评测框架！北大开源主体一致性视频生成领域新基建OpenS2V-Nexus，生成视频 「像」 又 「自然」
北大团队推出开源套件OpenS2V - Nexus，含全球首个S2V细粒度评测基准OpenS2V - Eval和500万条高质量人物文本视频三元组数据集OpenS2V - 5M，还评测18个S2V模型，揭示主流模型能力差距。
还在为拍视频头疼？AI 一键生成短视频，这工具也太香了吧！
文章介绍开源工具 Pixelle-Video，它能让视频创作变得简单。输入主题，它可自动撰写文案、生成配图、合成语音、添加音乐并合成视频，还支持多种功能和大模型，有多种使用和付费方案。