「多模态指令数据合成」共找到 3385 篇相关文章
豆包大模型2.0+Claude Skills，3步装好，终于有AI能帮我"看视频做笔记"了！火山引擎全系列可用！
传统视频总结工具只基于音频总结，内容浅显。而豆包大模型2.0是多模态原生模型，能同时处理画面和声音。只需3步安装配置，就能让它真正“看”视频，输出详细笔记。
Meta开源史上最强语音“基座模型”：一口气支持1600+种语言
Meta AI FAIR团队发布Omnilingual ASR模型套件，能为超1600种语言提供自动语音识别能力。它引入新架构提升性能，改变引入新语言范式，还发布相关数据集和模型，与全球伙伴合作。
创始人不懂增长，团队再忙活也没用
文章指出很多创始人虽技术、团队出色，但对产品增长数据避而不谈。他们高薪招增长负责人却全权交托，自身缺乏增长认知，这在当下很危险。还提到 9 月 20 - 21 日将分享增长调研成果。
GitHub一周2000星！国产统一图像生成模型神器升级，理解质量双up，还学会了“反思”
智源研究院发布国产开源统一图像生成模型OmniGen 2.0版本。它增强理解与生成能力，打通多模态生态。玩法简单，技术有创新，还引入反思机制和新基准，推理效率提升，且将全面开源。
AI自己写代码做科研还跑赢了前沿算法？清华团队开源Alchemy框架
清华团队开源 Alchemy 框架，它是面向自动化 AI 科研的标准化研究环境，能让 AI Scientist 摆脱工程负担，专注算法创新，还支持多领域、多任务，具有多种特性，在多模态推荐任务中表现出色。
谷歌Gemini杀入全球桶，血洗微软Office！颠覆全球3亿打工人
谷歌官宣Gemini全面升级版Workspace体验，全线接入Docs、Sheets、Slides。在SpreadsheetBench测试中成绩出色，谷歌Workspace更个性化实用。新功能覆盖文档、表格、幻灯片及云盘，还明确数据边界，欲定义下一代办公软件。
警告：你的Agent可能无法"解决"真实世界的视觉问题
文章提出 AgentVista 评测基准，含 209 道任务，横跨 7 大领域 25 个子方向。评测 14 个主流模型，最强的 Gemini - 3 - Pro 准确率仅 27.27%，揭示多模态 Agent 在视觉理解、工具调用等方面挑战大。
攻克大模型「表格盲区」！ST-Raptor框架发布，实现复杂半结构化表格的精准理解与信息抽取
半结构化表格布局多样、结构复杂，让自动化数据处理困难。上海交大等团队发布 ST - Raptor 框架，提出 HO - Tree 数据结构及树上操作，构建 SSTQA 数据集，提升表格问答准确率，弥补大模型处理短板。
吴恩达：并行 Agent是 Scaling laws 的新方向
吴恩达称并行 Agent 是扩展 AI 新方向。过去 AI 靠数据和计算量提升能力，如今并行 Agent 能在不增加用户等待时间前提下提升效果，虽任务分解有难点，但研究不断涌现。
感知错误率降低30.5%：隐式感知损失让模型主动“睁大眼睛” | UIUC＆阿里通义
伊利诺伊大学香槟分校与阿里通义实验室推出多模态推理强化学习算法PAPO。它用隐式感知损失设计，解决感知与推理脱节问题，在多基准测试中表现优，但有KL_prcp Hacking现象。