搜索：理解与生成统一

「理解与生成统一」共找到 3126 篇相关文章

开源复现o3图像思考！快手让AI不再被动看图，模型自主生成代码调用工具

Kwai Keye团队提出Thyme新范式，构建技术方案，赋予开源模型“超越图像思考”能力。包括设计训练策略、构建开源配套资源，拓展多模态模型工具使用与决策水平，在基准测试中性能提升显著。

香港中文大学薛天帆团队提出CubeComposer框架，可将普通视角视频扩展成原生4K的360°视频。研究在两个数据集测试，结果显示其在多指标上优于基线。该成果突破技术上限，让普通人也能制作360°视频。

Google发布Gemini Embedding 2模型，它是业界首个原生支持文本、图片、视频、音频和PDF五种模态的Embedding模型，可将这些数据映射到同一向量空间，在多模态RAG、跨模态搜索等场景有应用，还介绍了跑分、用法、竞品、价格等情况。

谷歌AI视频工具Veo 3生成的解压切水果视频在全网病毒式传播，TikTok号主粉丝量猛涨。今天凌晨谷歌官宣其正式上线，网友热情高涨。此外，它还能实现多种创意视频生成，一位制作人用它两天做出3000万播放量广告。

4月13日生数科技发布视频大模型Vidu Q3，在SuperClue榜单断层登顶。它从‘生成视频’转向‘驱动剧组’，升级后能嵌入内容生产流程，实现‘万物可参，声画同出’，在多赛道表现亮眼。

蚂蚁开源新模型CGM，首创将仓库代码图模态融入大模型，不依赖闭源模型和复杂Agent，仅需4步就能快速定位、生成补丁。它在多个测试基准中领先，技术论文等均已开源。

现在的 ASR 模型处理长音频存在断章取义、说话人错乱等问题。微软开源 VibeVoice-ASR，可一次性处理 60 分钟音频，实现“三位一体”输出，补齐 VibeVoice 生态，还介绍了特点、架构、使用方法与应用场景。

约翰·霍普金斯大学与字节Seed团队推出自动生成短片的Captain Cinema系统。它以剧情文字为输入，先规划关键帧，再补全画面动态合成短片。采用特殊训练法和模型，虽有局限，但为电影自动生成迈关键一步。

阿里通义团队开源 Qwen3 - TTS 全家桶，含语音设计、克隆、生成功能，开源 2 天获 3K + Star。它有秒级克隆、语音设计等能力，有 0.6B 和 1.7B 两种规格，双轨架构等技术创新保障性能。

在视觉语言模型取得突破的当下，长视频理解挑战凸显。蚂蚁和人大团队提出视觉语言大模型ViLAMP，采用‘混合精度’策略，在多基准测试中超越现有方案，单卡可处理3小时视频，为实际应用带来新可能。