「视觉 - 语言 - 动作模型」共找到 1815 篇相关文章
X-SAM：从「分割一切」到「任意分割」：统一图像分割多模态大模型，在20+个图像分割数据集上均达SoTA
中山大学、鹏城实验室、美团联合提出X - SAM，统一图像分割多模态大模型。它将分割范式扩展，设计通用输入输出，采用端到端架构和三阶段训练策略，在超20个数据集达最优，为图像分割研究开辟新方向。
大模型如何推理？斯坦福CS25重要一课，DeepMind首席科学家主讲
Google DeepMind首席科学家Denny Zhou在斯坦福CS25课程分享大语言模型推理见解，总结了四个关键点，阐述推理机制、优化方法及最新进展，还介绍多种推理方法并比较其优劣。
Omni-Effects：首个统一多特效生成框架
Omni-Effects是面向多样化定制视觉特效生成的统一框架，结合纯提示词驱动与空间感知提示，可精确控制特效位置。构建Omni - VFX数据集验证其有效性，在复杂场景有高鲁棒性。
6秒造一个「视频博主」，Pika让一切图片开口说话
8月11日，Pika推出“音频驱动表演模型”，允许用户上传音频结合静态图片生成高度同步视频，角色口型、表情、动作自然，平均6秒出720p高清视频，目前仅限iOS端且需邀请码。
LeCun出手，造出视频世界模型，挑战英伟达COSMOS
训练有效世界模型面临数据、任务难度、算力消耗和评估等难题。Meta研究者提出通用视频世界模型DINO - world，可预测未来帧，在多方面有优势，实验显示其性能显著，能降低对标注数据需求。
any-llm：又一个统一模型服务接口的Python代理库
Mozilla AI开发的开源项目any-llm，解决多LLM提供商接口统一问题，能让开发者用一个接口调用不同大语言模型。它吸取此前产品长处，有统一接口等优势，使用和安装简单。
ICLR 2025新成果：文档检索“降本增效”，从此“开挂”
传统文档检索系统处理视觉信息丰富的文档存在瓶颈，ColPali方法直接从文档页面图像生成多向量嵌入，简化流程、提高性能、降低延迟。ColQwen - Omni在其架构上扩展到图文+音频多模态匹配。
ACL 2025 Oral | 你的模型评测搭子上线：Evaluation Agent懂你更懂AI
上海人工智能实验室与新加坡南洋理工大学合作研发 Evaluation Agent，它能按需评估视觉生成模型，有可定制、高效率等优势。框架分提案和执行两阶段，评估结果佳，未来将拓展功能。
The Batch：833 | 针对智能体的钓鱼攻击
研究人员发现误导基于大语言模型的自主智能体的方法，即通过在热门网站植入恶意链接，利用智能体对热门网站的‘隐性信任’攻击。测试显示智能体易受诱导执行有害行为。
时空压缩！剑桥大学提出注意力机制MTLA：推理加速5倍，显存减至1/8
在大语言模型发展中，Transformer自注意力机制有计算复杂度问题且KV缓存成推理瓶颈。剑桥大学提出MTLA，结合时空压缩策略，提升推理效率，在多任务中表现出色，代码已开源。