「原生多模态」共找到 1333 篇相关文章
MCP客户端调用看这一篇就够了(Java版)
文章介绍MCP客户端调用方法,先阐述没MCP时的痛点,再讲大模型调用MCP的姿势,包括Spring - AI和Spring - AI - Alibaba框架的使用,还介绍原生SDK调用方式,记录踩坑问题,探讨两种技术路线的选型。
刚刚,OpenClaw和Cursor杀入手机!Agent从此塞进口袋
OpenClaw和Cursor同日发布原生App,OpenClaw上架全血原生App,可无缝交互,解锁设备底层能力;Cursor发布iOS应用公开测试版,可让开发者在手机上指挥代码开发,重塑人类工作方式。
统一框架下的具身多模态推理:自变量机器人让AI放下海德格尔的锤子
当前先进机器人无法像人类自如用工具,现有多模态系统有局限。自变量机器人提出端到端统一架构,以统一表示学习和多任务多模态生成解锁具身多模态推理能力,实现范式转换。
独家|前DeepSeek核心研究员魏浩然出任百度文心多模态算法负责人
9月3日消息,原DeepSeek核心研究员魏浩然带队转入百度,任文心大模型多模态算法负责人。此前他在多模态与端到端OCR底层重构有突出成绩,这是百度布局青年顶尖研发人才的又一动作。
OpenVision 2:大道至简的生成式预训练视觉编码器
多模态大模型浪潮中,视觉模块是关键。此前OpenVision训练管线复杂,成本高。研究者提出OpenVision 2,移除文本编码器与对比学习,引入随机丢弃视觉token技巧,性能佳且效率高,挑战了对比学习范式。
【综述】MRAG5项关键技术(一):解析、索引
文章围绕多模态检索增强生成(MRAG)的关键技术展开。介绍多模态文档的三种类型,阐述文档解析与索引的方法,包括基于提取和基于表示的方法,还指出基于提取方法存在的局限性。
给 Agent Skills 装上眼睛:MMSkills 用多模态技能包教会智能体看状态、做决策
上海交通大学和小红书团队推出面向通用视觉 Agent 的多模态技能框架 MMSkills,将可复用技能扩展为多模态程序性知识,通过 branch loading 调用视觉证据,在 GUI 与游戏任务评测中表现出色。
Lovable 仅凭 35 个员工创造 8000 万美元 ARR 的原因
Lovable 仅35人7个月达8000万美元ARR,因其有大量 AI 原生员工。AI 原生员工默认用 AI,能快速解决问题。聘用此类员工可释放自主权、提升速度,传统公司转型难,未来组织将变革。
给几何图片写标题就能让AI更聪明,UIUC发布高质量可泛化几何数据集
随着多模态大语言模型在视觉问答等任务广泛应用,其几何推理能力成研究热点。现有方法泛化能力有限,UIUC团队提出Geo - Image - Textualization框架,发布GeoReasoning - 10K数据集,提升模型几何推理表现。
让大模型“吃一堑长一智”,南理工百度等提出模型记忆新方法
南京理工大学联合百度等提出新方法ViLoMem,构建视觉流+逻辑流的双流语义记忆,让模型“从错误中学习”。它能在多模态基准提升模型表现,强模型记忆还可迁移给小模型。