「RL for LLM」共找到 1173 篇相关文章
Attention Sink产生的起点？清华&美团首次揭秘MoE LLM中的超级专家机制
清华和美团研究聚焦MoE LLM，首次发现超级专家子集。通过多模型实证分析，揭示其分布规律、重要性及对注意力机制的影响，开发识别工具，为模型压缩提供新方向。
年底，国产开源LLM又迎来一波大爆发：Qwen、美团、智谱、腾讯、百川
年底国产开源LLM大爆发，抱抱脸热榜Top10占一半。介绍了Qwen3 - TTS、LongCat - Flash - Thinking - 2601等多个模型，各有亮点，如Qwen3 - TTS覆盖多语种，LongCat支持重思考模式。
RLinf上新πRL：在线强化学习微调π0和π0.5
近年来，基于流匹配的VLA模型成机器人领域前沿技术，但训练依赖大量人类演示数据。清华等机构联合推出在线强化学习微调框架πRL，提出两种微调方案，在测试平台验证了有效性，目前代码等已开源。
SOTA级的Embedding模型！F2LLM模型、数据、代码全部开源，人人可用
Embedding 模型应用广泛，但主流模型训练困难。蚂蚁集团与上海交大推出 F2LLM，含 0.6B、1.7B、4B 系列模型，仅用六百万数据微调基座，在 MTEB 榜单领先且完全开源。介绍了其数据、训练、测评等情况。
无需SFT也不用RL，样本级推理优化神器SLOT来了，准确率轻松+10%
西湖大学MAPLE实验室开发的SLOT方法，无需SFT和RL，让模型推理时“临时学习”具体问题。它简单易实现，计算开销小，能使模型准确率大幅提升，还无需额外资源，在各规模模型上效果显著。
管你模型多大，250份有毒文档统统放倒，Anthropic：LLM比想象中脆弱
Anthropic等联合研究打破传统观念，只需250份恶意文档就能在参数规模从6亿到130亿的LLM中植入后门，且与模型规模及训练数据量无关。研究还测试了特定后门攻击，评估了多种训练配置。
GPT-5≈o3.1！OpenAI首次详解思考机制：RL+预训练才是AGI正道
OpenAI研究副总裁Jerry Tworek在播客访谈中称，GPT-5类似o3.1。他详解模型推理过程，强调RL+预训练是AGI正道，肯定DeepSeek的GRPO算法，还分享自身经历及OpenAI工作结构。
这个扩散LLM太快了！没有「请稍后」，实测倍速于Gemini 2.5 Flash
AI初创公司Inception Labs推出首款专为聊天定制的商业级扩散LLM——Mercury。它速度超快、效率高，能实时响应对话。实测显示其速度优于Gemini 2.5 Flash等，不过生成质量有待提升。
Meta这两篇最新Agent Learning论文，有些意思！
分享Meta SuperLabs两篇Agent Learning论文，从‘如何低成本获得高质量经验’出发，形成技术链，为语言智能体进入‘规模化RL时代’提供路线图，还分析了Agent RL问题及两论文成果、对比。
LLM助力突破尘封60年数学猜想！北大王立威团队大幅刷新斯坦纳比下界
北大王立威团队构建基于 LLM 的框架，聚焦 Gilbert - Pollak 猜想，将二维平面斯坦纳比从 0.824 改进到 0.8559。该进展被陶哲轩收录，工作已被 ICML 2026 接收，代码和证明均已开源。