「多模态强化学习」共找到 2295 篇相关文章
国庆这8天，我发现和AI辩论才是最高效的学习方式。
作者国庆假期与AI辩论，以自身关于AI时代信息筛选的观点为例，阐述和AI辩论是高效学习方式。先提出观点，后与AI多轮交锋，过程虽痛苦但能促使人思考、完善观点，还给出与AI辩论三步法。
「微调已死」再添筹码，谷歌扩展AI自我进化范式，成功经验与失败教训双向学习
近期，‘微调已死’言论引关注。谷歌《ReasoningBank: Scaling Agent Self - Evolving with Reasoning Memory》论文提出类似概念，可让智能体从自身成败经验学习，还引入MaTTS，实验显示其有效性和效率优于基准方法。
社交Agent: 通过RL学习自适应Thinking，根据场景在“秒回”和“深思”间灵活切换
现有聊天机器人在人情世故场景表现不佳，论文指出大模型思维‘一根筋’。研究团队设计4种思维模式，用AMPO强化学习算法动态切换。在模拟社交任务中，AMPO表现超GPT - 4，省时高效。
谷歌开源Gemma 3n：2G内存就能跑，100亿参数内最强多模态模型
本周五凌晨，谷歌正式发布、开源全新端侧多模态大模型 Gemma 3n。它有多模态设计、专为设备端优化等特性，核心是 MatFormer 架构，还采用了 PLE 技术等，在多方面实现质量提升。
国产多模态Agent拿下医学分割SOTA！不用改模型、不加token | 浙大&上海AI Lab
现有医学多模态大模型在分割生物医学图像时存在瓶颈，浙大蔡钰祥教授、上海AI Lab江彦开等人提出IBISAgent框架，将分割定义为多步视觉决策过程，实验显示其在多数据集上大幅领先对比方法。
从“一句成片”到“长轨推演”：探究多模态智能体在长视频编辑中的应用
近年来大语言模型在长篇视觉叙事中潜力卓越，但长视频剪辑仍难控制。中科大等团队开源工作从系统工程视角研究多模态智能体在长视频编辑中的机制，重构剪辑管线，找到症结并给出解决办法。
紫东太初推出GMC核心集剪枝方法，少80%Token仍满血保真多模态能力
视觉Token冗余是多模态模型高效推理与落地的瓶颈，传统筛选方法有缺陷。紫东太初团队提出GMC核心集剪枝方法，具双阶段架构，优势多，实验显示其能在减少Token同时保持性能。
红杉的投资哲学和秘密武器，a16z 投了个很有意思的 AI 学习产品
文章分享红杉投资哲学与秘密武器。决策重信念而非共识，管理赋能‘异类’人才，聚焦可控‘输入’，筛选要有勇气。还提到其‘人才佩奇排名’系统，此外介绍a16z投资的AI学习产品。
Apple发布新SOTA Manzano：混合Tokenizer破解多模态统一难题，理解与生成双翼齐飞
多模态AI前景广，但现有模型在理解和生成任务上存在性能冲突。苹果提出Manzano模型，用混合视觉标记器降低任务冲突，结构简单可扩展，在多基准测试达SoTA水平，还展示图像编辑潜力。
抛弃预定义Tool，首次提出通过动态工具生成的Agentic多模态Reasoning，破31%涨幅
视觉推理任务中，传统多模态大模型依赖预定义工具，灵活性与领域适应性差。PyVision 框架首次让 MLLM 在推理中实时生成、执行并迭代 Python 工具，在多类任务中显著提升性能，实现范式跃迁。