搜索：图像到有声视频

「图像到有声视频」共找到 1340 篇相关文章

可能是目前效果最好的开源生图模型，混元生图3.0来了

腾讯混元发布并开源原生多模态生图模型混元图像3.0，参数规模80B，是参数量最大的开源生图模型，也是首个开源工业级原生多模态生图模型，效果对标业界头部闭源模型。文中介绍其技术方案、测评效果等。

Google将音乐生成器Lyria 3加入Gemini和YouTube，它接收文本或图像生成30秒音频，支持多语言歌词。在质量和遵循提示上优于前身，采取版权保护措施，对特定用户免费或提供高额度使用。

当前大视觉语言模型处理复杂推理任务时，常过分依赖语言知识，忽视图像关键信息。港大等团队提出ProReason框架，其蒸馏的ProReason - VL和ProReason - Q3模型性能提升显著，为LVLMs发展提供方向。

YouTube在Shorts相机里实现AI实时「重绘」人脸，效果自然。它通过知识蒸馏将大模型「瘦身」成小模型，用迭代蒸馏打磨细节，PTI保证身份特征，MediaPipe搭建推理管道，还将拓展视频生成功能。

Loopit被称为‘AI编程版的抖音’，用户说句话就能做互动内容，如解谜游戏等。它让编程像拍视频一样成消费品，有创作和社区，结合抖音轻量与游戏互动感，粘性更高。

GitHub开源项目Memvid，能用MP4视频文件替代昂贵的向量数据库，检索达亚秒级。它把文本编码成视频，用配套JSON索引记录位置，结合sentence-transformers和FAISS实现语义搜索，存储和检索性能出色。

2026年1月17日，一段‘AI指挥人类写代码’视频刷屏，Claude Code能力引发关注，模糊人机交互界限。18日《金融时报》称红杉资本将参与Anthropic新一轮融资，其估值冲向3500亿美元，或成2万亿级AI独角兽。

苹果在大模型领域常受挫，但计算机视觉研究是其强项。其研究团队提出 ATOKEN，这是首个能在主要视觉模态统一处理的分词器，兼顾重建质量与语义理解，成果朝通用视觉表征迈进一步。

近年来多模态指令数据合成依赖人工设计提示词，成本高。本文提出 Oasis 方法，仅靠图像生成数据，打破传统输入模式，还开源代码库 MM - INF。实验显示其数据多样，能提升 MLLM 性能。

NVIDIA 开源 Live VLM WebUI，可让用户在本地用摄像头实时测试视觉语言模型。它基于 WebRTC 技术，能将摄像头视频流实时传输给模型，分析结果叠加在画面上，支持多后端、多平台及多种模型。