「多模态专家混合」共找到 1549 篇相关文章
知名机器人专家喊话：投人形机器人初创公司的数十亿美元，正在打水漂
知名机器人专家罗德尼・布鲁克斯质疑特斯拉、Figure等公司技术路线，称让机器人看人类视频学操作是‘空想’。他指出触觉数据无技术积累、安全有隐患，预测成功‘人形’机器人未来将大不同，投资难量产。
VinciCoder：多模态统一代码生成框架和视觉反馈强化学习，数据代码模型权重已开源
中科院与美团团队推出 VinciCoder，打破多模态代码生成中 SFT 范式瓶颈。它将奖励机制转向视觉域，通过两阶段策略统一多样化代码生成任务，在多基准测试中表现卓越，为领域研究提供新范式。
抛弃预定义Tool，首次提出通过动态工具生成的Agentic多模态Reasoning，破31%涨幅
视觉推理任务中，传统多模态大模型依赖预定义工具，灵活性与领域适应性差。PyVision 框架首次让 MLLM 在推理中实时生成、执行并迭代 Python 工具，在多类任务中显著提升性能，实现范式跃迁。
细粒度视觉推理链引入数学领域，准确率暴涨32%，港中文MMLab打破多模态数学推理瓶颈
香港中文大学MMLab团队发布MINT - CoT视觉推理方案，解决多模态数学推理难题。它引入特殊Interleave Token，构建专属数据集，采用三阶段训练策略，实验效果全面超越现有方法。
ICCV2025 | One image is all you need，多模态指令数据合成，你只管给图，剩下的交给Oasis
近年来多模态指令数据合成依赖人工设计提示词，成本高。本文提出 Oasis 方法，仅靠图像生成数据，打破传统输入模式，还开源代码库 MM - INF。实验显示其数据多样，能提升 MLLM 性能。
比NotebookLM更好的「开源播客」，可根据多模态内容生成30分钟以上播客音频。
Podcastfy是开源Python工具，能把文本、图片等多模态内容，借生成式AI转化为播客。它支持自定义，适配多种语言和文本转语音模型，能生成2 - 5分钟或30分钟以上的播客，使用体验比NotebookLM好。
后端架构新范式！阿里云专家亲揭：用RocketMQ彻底搞定多Agent异步协同难题
文章整理自阿里云专家演讲，介绍基于 Apache RocketMQ 新特性构建异步化 Multi - Agent 系统，探讨 Agent 间异步通信等机制，指出 Multi - Agent 协同关键，还讲了 RocketMQ 新特性及如何构建异步系统。
英伟达再出手！新型混合架构模型问世，两大创新实现53.6倍吞吐提速
英伟达研究者提出新混合架构语言模型 Jet - Nemotron，在达 SOTA 全注意力模型精度时效率卓越，2B 版性能超 Qwen3 等，H100 GPU 上生成吞吐量最高加速 53.6 倍，基于 PostNAS 和 JetBlock 两大创新。
超越O4-mini，多模态大模型终于学会回头「看」：中科院自动化所提出GThinker模型
现有多模态大模型在通用场景推理有瓶颈，缺乏对视觉线索校验与再思考能力。中科院自动化所提出GThinker模型，有创新的「线索引导式反思」模式，经两阶段训练，性能超O4 - mini，论文等已开源。
打破资源瓶颈！华南理工&北航等推出SEA框架：低资源下实现超强多模态安全对齐
本文介绍北航彭浩团队的 SEA 框架，针对多模态大模型低资源安全对齐难题，用合成嵌入替代真实数据，突破资源瓶颈。还构建 VA - SafetyBench 评估安全风险，实验验证了 SEA 低资源、高泛化优势。