搜索：多模态强化学习

「多模态强化学习」共找到 2301 篇相关文章

伯克利最强代码Agent屠榜SWE-Bench！用Scaling RL打造，配方全公开

开源软件工程模型DeepSWE横空出世，基于Qwen3 - 32B，仅用强化学习训练，以59%准确率刷新SOTA。它采用rLLM框架、R2E - Gym环境，用改良GRPO++算法，还介绍了评估策略及训练挑战的解决办法。

苹果联合港大开源扩散大语言模型DiffuCoder，用扩散模型+强化学习策略，性能提升4.4%。研究还提出耦合梯度奖励策略优化方法，建立原生RL训练框架，探究了dLLM的生成机制等问题。

苏黎世联邦理工学院团队让机器狗靠强化学习学会打羽毛球，开发全身视觉运动控制策略，使其最高挥拍速达12米/秒，还涌现类人回位行为，研究证明足式机器人在体育场景应用可行。

GitHub上的项目codex-vision-proxy让接进Codex的DeepSeek能看图，不用换模型或等官方，装本地代理即可。它还附带视觉工具包，在智能文档解析和OCR上潜力大，证明多模态能力可长在管道上。

前小米OS高管董红光创立光帆科技，他认为AI将重塑消费电子行业，未来交互是“需求式”和“多模态”的，手机或不再是最适配设备，穿戴设备或先变革，未来多设备联动由AI大脑调度。

Google发布Gemini 3.1 Flash-Lite，输出速度达363 tokens/秒，比上一代快45%，首个token响应快2.5倍。价格降低，输入$0.25/百万tokens，输出$1.50/百万tokens。跑分不错，还有动态思考功能，支持多模态输入。

Ilya Sutskever 在访谈中称「Scaling 时代已终结」，指出当前模型存在能力参差不齐、泛化不足的问题。他认为人类情绪类似价值函数，人类学习效率高。未来 AI 发展将进入研究时代，他还分享了 SSI 战略及对 AI 对齐等问题的看法。

翁荔新作《谨慎对待 Scaling Law》上线，文章涵盖 Scaling Law 预测内容、计算最优分配原理等。介绍了早期对机器学习损失可预测性的研究，还对比了 Kaplan 等人与 Chinchilla 的 Scaling Law，分析了两者分歧原因。

Meta超级智能实验室首个作品Muse Spark上线，跑分从18飙到52，盘中暴涨10%。它是「全能六边形战士」，有原生多模态感知等能力，上线「沉思模式」，功能先在美国铺开，未来接入社交平台，免费用但闭源。

大模型升级频繁令人审美疲劳，但豆包大模型Seed 2.0不同，其核心是Skills调用能力。作者测试了它做的小红书长图文排版生成器和古文翻译器，还体验了APP“专家模式”，展现多模态理解优势。