搜索：理解与生成统一

「理解与生成统一」共找到 3126 篇相关文章

苹果传统强项再发力，视觉领域三种模态终于统一

苹果在大模型领域常受挫，但计算机视觉研究是其强项。其研究团队提出 ATOKEN，这是首个能在主要视觉模态统一处理的分词器，兼顾重建质量与语义理解，成果朝通用视觉表征迈进一步。

在生成式视频发展中，长时序视频生成面临挑战。研究者提出 OmniRoam 新方法，通过全景表示和分阶段生成框架，提升视频时空一致性，还构建数据评测体系，实验表现优，有效率和 3D 应用潜力。

音乐生成领域有重大突破，腾讯AI Lab开源高保真音乐生成模型LeVo。它由LeLM和音乐编解码器组成，能解决现有方法在音质、音乐性等方面的局限，实验显示其优于现有方法，功能强大且适用场景多。

盛大AI研究院与东京大学联合提出FloodDiffusion，首个基于定制化扩散强制的流式人体动作生成框架。它能零延迟生成无限长动作序列，解决了现有方法的问题，在多数据集评估中表现优异。

本文围绕个性化多人图像生成展开，指出其面临身份特征泄露等挑战。介绍了早期方法的不足，提出全新的ID-Patch方案，阐述其设计思路、实验效果等，还探讨了提升空间与未来方向，该方案在多人物图像生成中有突破式提升。

现有视觉语言模型处理长视频面临诸多难题，厦门大学等联合提出轻量高效、无需微调的 Video-RAG 框架，采用多模态辅助文本检索增强生成，解决长视频理解问题，适用于多场景。

文章介绍日本网友分享的 Gem 应用，可上传照片生成各种风格贴纸。详细阐述提示词模板概念、规律特点，还给出波普艺术、日式复古火柴盒等多种贴纸风格提示词库及可用情绪列表，最后鼓励读者动手尝试。

快手开源多模态Keye-VL 1.5，为8B视频理解大模型，公开3大核心创新技术。靠Slow - Fast视频编码等，在20 + 基准屠榜。它能精确视频定位，实验显示通用、视频理解和数学推理表现佳。

继谷歌Banana后，英伟达开源物理级图像编辑模型ChronoEdit - 14B，被称‘NVIDIA版的Banana’。它有‘时间观念’和‘物理常识’，能按描述生成符合物理规律图像，适用于多领域。

火山引擎发布豆包·播客模型，生成的AI对话语气、停顿等像真人。操作简单，生成快且有字幕。能处理多种类型内容，如热搜话题、苏超联赛、超长文本等。其基于端到端实时语音模型，有技术突破。