搜索：多模态学习 - AI Reading Hub

「多模态学习」共找到 2193 篇相关文章

突破高分辨率图像推理瓶颈，复旦联合南洋理工提出基于视觉Grounding的多轮强化学习框架MGPO

先进多模态大模型处理高分辨率图像有瓶颈，复旦和南洋理工研究者提出基于视觉Grounding的多轮强化学习方法MGPO，能让模型精准推理，还可使模型从答案反馈中涌现视觉定位能力，避免依赖昂贵标注。

AI时代，数智化底层是基建深耕。企业要构建多模态数据湖，因其能处理多模态数据，唤醒沉睡数据，驱动业务，还提供工程确定性。火山引擎给出升级路线及选型指南，其多模态数据湖已在多行业落地。

2月5日，中科算网算泥社区发布《多模态大语言模型技术发展报告》。报告回顾多模态大模型发展历程，剖析核心技术创新，展示应用实践，分析挑战与机遇，为各界提供参考，推动多模态AI技术发展。

Anthropic为Claude Code和Claude应用推出全新学习功能，Claude Code支持切换交流风格，Learning模式像结对编程，会留作业。Claude实现方式比ChatGPT激进，开发者反响热烈，标志其向更智能教育方向发展。

AI应用迈向多模态交互，传统开发方式周期长。开源项目Gabber是实时AI应用引擎，通过模块化与图形化简化开发，有诸多特性，还给出安装指南，适用于多种场景。

该论文提出‘早期经验’范式，让智能体通过执行动作、观察结果状态学习，无需外部奖励。它能降低数据依赖，提升泛化与鲁棒性。实验显示，其在多样环境中效果出色，为智能体训练提供新思路。

谷歌DeepMind团队在Nature发表论文，探索AI自主发现强化学习算法的可能。团队负责人是“AlphaGo之父”David Silver 。方法是基于智能体经验元学习，实验显示自动发现的规则表现优异，未来强化学习算法或无需人工设计。

Yann LeCun新纪录片上线，回顾其深度学习四十年历程。他是深度学习开创者、Meta首席AI科学家，坚信机器应学会学习，认为AI竞争是开放与封闭之争，还对AI威胁论持务实乐观态度。

上海人工智能实验室开源MemVerse，这是首个面向智能体的通用多模态记忆框架。它将多模态信息与文本对齐到统一语义空间，首创‘双通路’架构与‘记忆蒸馏’技术，让智能体有终身记忆能力，在多模态任务中表现出色。

大型多模态模型在复杂多模态推理中面临挑战，67%错误源于视觉感知缺陷。为此，UIUC提出PAPO，通过隐式感知损失提升模型感知能力，无需额外标注，在多模态基准上表现优异，还解决了KL黑客问题。