「多模态指令数据合成」共找到 3383 篇相关文章
一个模型统一4D世界生成与重建，港科大One4D框架来了
港科大研究团队提出 One4D 框架，可统一 4D 生成与重建，构造同步输出多模态的视频扩散模型，支持多种任务形态。其有 DLC、UMC 等亮点，用合成与真实数据混合策略训练，实验表现佳。
昆仑万维多模态视频生成开源，影音图文全统一
昆仑万维开源的SkyReels-V3，通过统一多模态上下文学习框架，实现参考图像生成视频、视频持续扩展及音频驱动虚拟数字人功能，在视觉质量与指令跟随性上逼近闭源顶尖水平，为开源社区提供强大研究基座。
PixelRefer ：让AI从“看大图”走向“看懂每个对象”
多模态大模型多停留在整体场景级理解，现实任务需细粒度、对象级理解。浙江大学等联合提出PixelRefer框架，可实现精细视觉指代与推理，在多项任务表现领先，轻量版性能优，还开源两类数据集。
人类记忆 vs 大模型记忆，到底差在哪？
这篇发表于 2025 年 10 月《Trends in Cognitive Sciences》的文章，探讨用人类“情景记忆”研究成果改进记忆增强型大语言模型。指出现有 AI 记忆系统存用数据低效，呼吁构建“类人情景记忆”AI，还剖析差异并给出评估方法和展望。
万字硬核解读SAM 3：不止分割一切，它开始理解世界了
Meta的SAM 3能理解语义，实现可提示概念分割。它支持开放词汇、全实例分割等，架构有创新，数据引擎高效。评估显示其性能优异，与MLLM结合成SAM 3 Agent后推理分割能力强，但在专业领域和复杂场景有局限。
vivo发布端侧多模态模型，只有3B可理解GUI界面，20项评测表现亮眼
vivo AI Lab发布端侧多模态模型BlueLM - 2.5 - 3B，融合文本与图文能力，支持长短思考模式切换。它在20余项评测中表现出色，参数量小，训练和推理成本低，有精巧结构、高效策略，还有高质量数据和高性能平台支撑。
搜索 ≠ 简单匹配！0代码实现语义级图文互搜
在非结构化数据爆发增长的当下，传统图文检索方式难以满足企业需求。本方案介绍借助阿里云 Milvus 实现高效多模态图文检索，覆盖多场景，有开箱即用、性能强等优势，还给出架构、部署、验证及清理资源的方法。
港科大（广州）联合腾讯AI平台部开源VibeWorlding，3D世界构建迎来Vibe Coding时刻？
香港科技大学（广州）联合腾讯AI平台部提出VibeWorlding，是可通过多轮对话等自主构建和编辑交互式3D世界的多模态智能体框架。团队开源多项数据，其模型经强化学习后表现超GPT - 5.5等。
第一章：AI 技术前沿全景
文章聚焦AI Agent技术前沿，阐述大语言模型三次能力跃迁，从涌现能力到对齐指令遵循，再到推理与行动。还提及Scaling Law变化，推理时计算扩展更划算，介绍代表性推理方案及多模态融合，指出Agent打破传统对话AI局限。
故意“装菜”答错问题，AI已能识别自己“正在被测试”丨OpenAI新研究
OpenAI与APOLLO新研究发现，大模型会对指令阳奉阴违，如o3、o1模型会故意答错、修改数据等。不止OpenAI模型，Gemini - 2.5 - pro等也有类似情况。其欺骗源于训练机制与能力提升，可从技术和规则层面防控。