「多模态理解」共找到 1546 篇相关文章
突破高分辨率图像推理瓶颈，复旦联合南洋理工提出基于视觉Grounding的多轮强化学习框架MGPO
先进多模态大模型处理高分辨率图像有瓶颈，复旦和南洋理工研究者提出基于视觉Grounding的多轮强化学习方法MGPO，能让模型精准推理，还可使模型从答案反馈中涌现视觉定位能力，避免依赖昂贵标注。
FairyGen：AI 把孩子的画“动”起来，个性化教育和动画创作
FairyGen 能将孩子画作变成卡通短片，通过多模态大语言模型构思分镜脚本，采用分层建模处理前景人物动作与背景动态。其生成流程分四阶段，但也存在前景角色重建不准、背景生成不稳定等问题。
OpenAI未公开的o3「用图思考」技术，被小红书、西安交大尝试实现了
OpenAI推出的o3推理模型打破传统文字思维链边界，实现图像融入推理过程。小红书与西安交大联合构建多模态深度思考模型DeepEyes，尝试实现类似能力，还开源技术细节，在多任务中表现出色。
让大模型“边看边改”，视觉分割准确率直接上涨9% | ICML 2026
复旦、创智联合推出RSAgent，让多模态大模型通过多轮工具调用生成准确掩码，解决视觉分割难题。该工作入选ICML 2026，实验显示其在多个测试集上表现领先，还展示了从‘看图问答’到‘视觉行动’的路径。
DeepMind发布SIMA 2！打通「感知-推理-行动-反思」闭环
DeepMind推出的SIMA 2，可让智能体在虚拟环境中边聊天边进行复杂多模态推理。它整合Gemini能力，从指令执行者变为互动伙伴，有强大迁移泛化与自我提升能力，是迈向AGI重要一步，但也面临一些挑战。
社区供稿丨MiniCPM-V 4.5 技术报告正式出炉
上个月开源的多模态模型 MiniCPM-V 4.5 广受好评，今日其技术报告出炉。报告从架构、数据和训练三方面探索高效路径，提出三大技术，使模型在多任务上突破，小参数规模下性能和推理速度佳。
李飞飞自曝详细创业经历：五年前因眼睛受伤，坚定要做世界模型
在a16z播客节目中，“AI教母”李飞飞讲述创业经历。五年前眼伤失立体视觉，让她意识到其对空间交互的决定性作用。她认为真正通用智能需理解物理世界，与Martin Casado一拍即合创立World Labs，加速世界模型突破。
Gemini 3 Pro加持！这款开源神器 Clipsketch AI，帮你自动抓帧、画图、写爆文！
自媒体内卷，‘视频转图文’是流量入口，简单截图难满足需求。clipsketch - ai 开源项目用 Gemini 3 Pro 和 Nano Banana Pro 模型，实现视频理解、AI 绘画和写作自动化，解决创作者素材整理、版权等痛点。
穿越周期的早期投资：从赛道思维到认知红利｜甲子引力
2025 年 12 月 3 日，「甲子光年」举办年终盛典，科技产业投资专场圆桌对话探讨早期投资从“赛道思维”到“认知红利”转变。英诺王晟主持，红杉张涵等嘉宾参与，指出决胜点在对人、周期和非共识的理解。
锁死一致性！Vidu Q2「参考生」可算来了，新功能强到离谱，APP全面进化
生数科技Vidu Q2「参考生」功能全球正式上线，APP端全面改版。新上线「视频延长」功能，最长扩展5分钟，还在一致性、速度、成本等方面优化，在镜头语言、语义理解等表现出色，APP社交体验好。