搜索：多模态智能体

「多模态智能体」共找到 4148 篇相关文章

八年研究沉淀，原方智能试图让机器拥有关于世界的「信念」

原方智能正式启动，由林浩鑫与唐开强创立，技术源于 LAMDA 团队八年研究。其目标是使机器在物理世界形成对世界的'信念'，以世界模型为核心技术路线，将研究成果推向开放物理世界。

香港科大等研究者联合提出MMLongBench，用于评估多模态模型长文本理解能力。它覆盖5大类型任务的16个数据集，对46个模型测试显示，闭源和开源模型在长上下文任务均面临挑战，OCR和跨模态检索能力是瓶颈。

近日，由复旦邱锡鹏担任首席科学家的模思智能发布多说话人自动语音识别模型 MOSS - Transcribe - Diarize，性能超 GPT - 4o、Gemini 等。它解决语音领域落地痛点，跑分亮眼，还解决 SATS 方案不足，开放 API 限时免费。

在数据多元化时代，多模态知识图谱能为下游应用提供数据支撑，实体对齐是构建知识图谱的核心技术。但大规模知识图谱关联与融合面临噪声和潜隐关联挑战。四川大学团队提出 RULE 方法，缓解了这些影响，论文被 ICLR 2026 接收为 Oral。

来自多机构的研究团队提出 Holi - Spatial，可从原始视频自动生成 3D 重建等数据，构建 400 万级空间标注数据集 Holi - Spatial - 4M，提升 VLM 空间能力，还形成自动化数据飞轮，但存在计算成本高、特定场景表现不佳等局限。

北大团队提出ToolVQA数据集，用于提升基础模型工具使用能力。它含2.3万条样本，贴近真实需求。通过ToolEngine构建，涵盖多工具与任务领域。微调后模型表现佳，代码与模型已开源。

作者参加深圳机器人黑客松，这是全球最大规模线下具身智能开发者大赛之一。3天内参赛队伍可完成从数据采集到真机部署闭环。比赛让行业差距与机会显形，凸显基模重要性，自变量也给出新方向。

华为与香港科大研究发现，多模态视觉语言模型中，长思维链SFT与RL组合难协同增益。研究引入难度分类方法构建数据集，分析各方法表现及组合策略困境，还给出实验发现与未来研究方向。

在 InfoQ 举办的 QCon 全球软件开发大会上，字节跳动段潇涵介绍如何基于大语言模型构建智能编程助手。他分享实践经验，剖析研发痛点，介绍技术架构，还探讨未来发展方向，如认知增强、工具整合等。

统一多模态模型在视觉理解和生成能力上不平衡，常理解强但生成弱。本文提出重建对齐（RecA）自监督后训练方法，不改动架构，用未标注图像训练，在多模型实验中提升性能，部分达SOTA。