搜索：多模态强化学习

「多模态强化学习」共找到 2295 篇相关文章

Attention真的可靠吗？上海大学联合南开大学揭示多模态模型中一个被忽视的重要偏置问题

上海大学曾丹团队联合南开揭示Vision - Language Models中普遍的attention偏置问题，提出无需重训的去偏方法，在多模型、策略及基准上验证有效性，为多模态模型部署提供新思路。

被 Wix 收购的 AI Coding 产品 Base44 发展迅猛，每天新增约 40 万美金 ARR。同时，行业对 AI Coding 产品利润存质疑，a16z 反驳后又遭 Cline 批判。此外，还提到华人团队做的 AI 学习相机有创新点。

本文聚焦多模态大模型，提出基于 OCR 任务量化注意力头视觉偏好的方法，发现仅不到 5%“视觉头”主导视觉理解。还提出 SparseMM 策略优化 KV - Cache 资源分配，经多基准评测，性能和效率表现优。

至简动力等提出数字孪生协同强化学习框架 TwinRL，可在真机高效执行在线强化学习。它用手机构建数字孪生，让机器人先探索再真机操作，20 分钟达 100%成功率，比现有方法快 30%，还降低人类干预。

快手开源能看懂视频并跨模态推理的大模型Keye-VL 1.5，其有时序定位、描述和推理能力，跑分领先。采用三段式架构和Slow-Fast编码策略，经四阶段预训练和多阶段后处理，团队成果多，推动多模态技术落地。

中国科学院磐石研发团队提出新型“神经 - 符号”融合规划器，融合神经与符号规划系统优势，借鉴人类运动学习机制构建双向规划机制，在规划覆盖率和效率上显著超越OpenAI o1，已加入“磐石·科学基础大模型”。

12月快手旗下可灵发布全球首个统一多模态视频大模型Kling O1，标志AI视频进入“全流程语义控制时代”。它将多种视频创作能力统一，有全能引擎等五大亮点，性能对比优势明显，让AI视频生成更可控。

上海AI Lab团队提出RaML框架，从梯度下降和元学习角度揭示LLM“思考”机制。通过实证验证推理轨迹作为参数更新的合理性，还对比不同训练策略，指出RaML为优化LLM性能提供新思路。

NVIDIA研究员Jim Fan称AI正经历第二次预训练范式转移。颜水成团队Muddit模型从视觉先验出发，用离散扩散框架统一文生图、图生文和VQA，挑战多模态“语言中心论”，在多任务表现出色。

阿里巴巴通义实验室团队论文提出通过程序化、自动化构建模拟环境，让语言模型自主交互学习。基于此训练的AgentScaler模型，数十亿参数就达万亿级模型性能，为轻量级代理智能发展带来新可能。