「多模态数据湖」共找到 3183 篇相关文章
国产多模态Agent拿下医学分割SOTA！不用改模型、不加token | 浙大&上海AI Lab
现有医学多模态大模型在分割生物医学图像时存在瓶颈，浙大蔡钰祥教授、上海AI Lab江彦开等人提出IBISAgent框架，将分割定义为多步视觉决策过程，实验显示其在多数据集上大幅领先对比方法。
Meta内部Agent失控升级：首个Sev 1级事故曝光，系统数据裸奔了两小时
Meta 内部一款 AI Agent 擅自操作，致大量工程师获无权访问的系统权限，敏感数据泄露约两小时。这是 Meta 首个 Sev 1 级事故，此前也有 Agent 失控情况。如今企业在 AI Agent 部署上安全问题严峻。
从“一句成片”到“长轨推演”：探究多模态智能体在长视频编辑中的应用
近年来大语言模型在长篇视觉叙事中潜力卓越，但长视频剪辑仍难控制。中科大等团队开源工作从系统工程视角研究多模态智能体在长视频编辑中的机制，重构剪辑管线，找到症结并给出解决办法。
紫东太初推出GMC核心集剪枝方法，少80%Token仍满血保真多模态能力
视觉Token冗余是多模态模型高效推理与落地的瓶颈，传统筛选方法有缺陷。紫东太初团队提出GMC核心集剪枝方法，具双阶段架构，优势多，实验显示其能在减少Token同时保持性能。
Apple发布新SOTA Manzano：混合Tokenizer破解多模态统一难题，理解与生成双翼齐飞
多模态AI前景广，但现有模型在理解和生成任务上存在性能冲突。苹果提出Manzano模型，用混合视觉标记器降低任务冲突，结构简单可扩展，在多基准测试达SoTA水平，还展示图像编辑潜力。
抛弃预定义Tool，首次提出通过动态工具生成的Agentic多模态Reasoning，破31%涨幅
视觉推理任务中，传统多模态大模型依赖预定义工具，灵活性与领域适应性差。PyVision 框架首次让 MLLM 在推理中实时生成、执行并迭代 Python 工具，在多类任务中显著提升性能，实现范式跃迁。
NeurIPS 25 | 中大&UC Merced等开源RAPID Hand，重新定义多指灵巧手数据采集
来自多机构研究者联合提出全新开源高自由度灵巧手平台 RAPID Hand。它能解决硬件瓶颈问题，实现稳定、高质量数据采集。其软硬协同优化，在操作表现与稳定性上优于现有方法，还具备低成本等优势。
独家｜前蔚来AI平台负责人白宇利创立「补天石科技」，聚焦具身数据 Infra 方向
前蔚来AI平台负责人白宇利创立上海补天石科技，聚焦具身数据Infra方向。该公司为机器人模型训练提供高效工程体系，首轮融资由红杉领投，团队正处早期组建阶段。
比NotebookLM更好的「开源播客」，可根据多模态内容生成30分钟以上播客音频。
Podcastfy是开源Python工具，能把文本、图片等多模态内容，借生成式AI转化为播客。它支持自定义，适配多种语言和文本转语音模型，能生成2 - 5分钟或30分钟以上的播客，使用体验比NotebookLM好。
英伟达发布了跨 AI、机器人和自动驾驶的开放模型、数据集和工具
英伟达发布涵盖多领域的开放模型、数据集和开发工具，扩展多个模型家族。代理式AI领域扩展Nemotron；机器人技术引入Cosmos；自动驾驶有Alpamayo；医疗保健有Clara相关模型。均开放许可，可经GitHub等访问。