「视频到音乐」共找到 2960 篇相关文章
昨天夸国产大模型争气，今天Vidu Q3就霸榜了
国产视频大模型Vidu Q3在国际权威AI基准测试机构Artificial Analysis的最新榜单里，于Video Arena冲到全球第二、国产第一。它是全球首个支持16秒音视频直出模型，声画同出、高清直出，还有镜头控制、多语言文字渲染等优势。
视频字幕处理开源神器
卡卡字幕助手（VideoCaptioner）操作简单，无需高配置，支持 API 和本地离线语音识别，利用大语言模型处理字幕。它支持多平台视频下载处理，有专业语音识别引擎，能智能纠错、高质量翻译、调整字幕样式。
750城市+5000小时第一人称视频，上海AI Lab开源面向世界探索高质量视频数据集
上海人工智能实验室等机构联合推出持续迭代的高质量视频数据集项目Sekai，含Sekai-Real和Sekai-Game两个数据集，还训练了模型Yume。它特点突出，团队按四环节构建，望成世界建模等领域的数据基石。
新手必看！强化学习入门指南 | 从RLHF、PPO、GRPO到RLVR，最后到训练推理模型
Unsloth团队发布强化学习教程，从吃豆人谈起，介绍RLHF、PPO、GRPO等概念，分享用GRPO训练推理模型技巧。涵盖强化学习基础知识，还给出Unsloth使用GRPO训练模型方法及奖励函数示例。
OmniInsert：全新无掩码视频插入技术
基于扩散模型的视频插入技术发展快，但以往方法有局限。字节提出InsertPipe和OmniInsert，解决数据不足等难题。OmniInsert设计巧妙，还建立评测平台InsertBench，虽有小问题，但推理快，可加速优化。
VLM会描述视频，却未必用对参考图：RefCaptioner让参考图与视频语义精准对应
多模态大模型处理多参考图与视频对应关系能力不足。为此提出 RefCaptioner，强化模型对参考图识别感应能力、优化输出格式与奖励函数；还构建 MRVBench 评测基准，实验显示其表现优异。
字节推出全新视频换装框架DreamVVT
视频虚拟试穿技术受关注，但现有方法有局限。字节推出DreamVVT框架，基于扩散变换器，分两阶段试穿，能应对多种复杂场景，不过也存在依赖遮罩、复杂动作表现不稳定等问题。
产品经理也能“开发”需求？淘宝信息流从需求到上线的AI端到端实践
淘宝推荐信息流业务被“需求多、技术栈杂、协作慢”困扰，上线周期长。WaterFlow这一AI驱动的端到端开发实践，让部分需求两天内上线，产品经理也能参与。文章揭秘其落地及协作模式改变，还展示了实践效果。
视频理解新标杆，快手多模态推理模型开源：128k上下文+0.1秒级视频定位+跨模态推理
快手开源能看懂视频并跨模态推理的大模型Keye-VL 1.5，其有时序定位、描述和推理能力，跑分领先。采用三段式架构和Slow-Fast编码策略，经四阶段预训练和多阶段后处理，团队成果多，推动多模态技术落地。
The Batch: 938 ｜ Gemini 的音乐生成器
Google将音乐生成器Lyria 3加入Gemini和YouTube，它接收文本或图像生成30秒音频，支持多语言歌词。在质量和遵循提示上优于前身，采取版权保护措施，对特定用户免费或提供高额度使用。