「多模态玩法」共找到 1446 篇相关文章
OmniAvatar震撼开源！阿里夸克开源全新音频驱动角色模型
音频驱动人体动画技术有局限，阿里夸克团队推出OmniAvatar模型。它用逐像素多层次音频嵌入和LoRA训练法，解决唇动同步等问题，适用于多领域，但也存在颜色偏移等不足。
刚刚，谷歌AI路线图曝光：竟要抛弃注意力机制？Transformer有致命缺陷！
谷歌未来AI路线图曝光，Gemini全模态是重点，模型向智能体转变，推理能力将扩展。谷歌还需突破现有注意力机制限制实现无限上下文。此外，文中盘点了OpenAI、DeepSeek等大厂AI年中表现。
上海AI实验室造出首个「通才」机器人大脑：看懂世界+空间推理+精准操控全拿下
上海人工智能实验室联合多家单位提出通用具身智能大脑框架VeBrain，能集成视觉感知、空间推理和机器人控制能力。它统一三类任务语言建模范式，有“机器人适配器”，配套VeBrain - 600k数据集，性能测试表现出色。
马斯克的xAI以1130亿美元估值，出售3亿美元股权
金融时报消息，马斯克旗下xAI正以1130亿美元估值出售3亿美元股权，细节未全披露。若融资成功，其估值将跻身全球前列。xAI成立于2023年，获巨额融资，与X合并，产品Grok AI功能丰富。
360开源高质量图文对齐数据集！收纳1200万张图像+1000万组细粒度负样本，让模型告别“图文不符”
360人工智能研究团队的冷大炜博士团队开源FineHARD高质量图文对齐数据集，包含1200万张图像、4000万个边界框及对应描述、1000万组细粒度难负样本，能提升模型图文对齐能力，还介绍了构建方法、分析及应用前景。
阿里通义开源「推理+搜索」预训练新框架：小模型媲美大模型，多个开放域问答数据集表现显著提升
阿里通义实验室开源通用预训练框架MaskSearch，引入检索增强型掩码预测任务，兼容两种训练方法。实验显示，它在多数据集提升模型性能，小模型能媲美大模型，还验证了训练方式、策略及奖励函数的效果。
字节开源多模态复杂文档解析模型！Dolphin：页面与元素并行解析，精准解析复杂文档！
多模态AI与文档解析兴起，传统OCR解析复杂文档常出错。字节跳动开源多模态模型Dolphin，通过两阶段机制精准解析，有多种功能，安装使用友好，适用于多场景，降低了复杂文档解析门槛。
全日程公布｜谷歌Veo 3惊艳发布后，这场CVPR分享会值得每个AI人「听个声」
谷歌在 I/O 2025 大会发布 AI 视频生成模型 Veo 3，实现音画同步。为让从业者了解 AI 新成果与趋势，机器之心 6 月 8 日将举办「CVPR 2025 论文分享会」，公布全日程、嘉宾及主题，还会直播。
ICML 2025 Spotlight｜南洋理工陶大程教授团队等提出基于RAG的高分辨率图像感知框架，准确率提高20%
南洋理工陶大程教授团队等合作，为解决多模态大语言模型处理高分辨率图像问题，探索 RAG 应用可行性，提出 Retrieval-Augmented Perception (RAP) 框架，在多任务上提升性能，已被 ICML 2025 接收。
VLM会描述视频，却未必用对参考图：RefCaptioner让参考图与视频语义精准对应
多模态大模型处理多参考图与视频对应关系能力不足。为此提出 RefCaptioner，强化模型对参考图识别感应能力、优化输出格式与奖励函数；还构建 MRVBench 评测基准，实验显示其表现优异。