「LLM评估」共找到 1596 篇相关文章
强化学习的进化：从PPO到MaxRL，LLM推理训练的算法演进史
本文概述2024 - 2026年推理LLM的强化学习进展，从REINFORCE和PPO讲起，介绍GRPO、RLOO等多种算法。指出critic模型非必需，标准差归一化有副作用，损失聚合很关键，信任域是优化切入点，还提出几个未解决的挑战。
ICLR-26腾讯混元：Agent是强大的，但用户是狂野的
现有LLM工具使用基准测试场景理想化，忽视真实用户行为复杂性。腾讯提出WildToolBench，基于真实用户行为构建测试集，对58个模型评估，发现模型准确率低，揭示LLM在真实场景下能力缺口，为模型优化指明方向。
解决Agent幻觉：HaluMem精准定位记忆系统的“说谎”环节！
近年来，LLM和Agent在记忆管理上存在挑战，现有评估方法无法定位幻觉来源。论文提出HaluMem评估基准，通过三大任务和两个数据集揭示记忆系统幻觉行为，为开发可靠记忆机制提供指导。
Attention Sink产生的起点？清华&美团首次揭秘MoE LLM中的超级专家机制
清华和美团研究聚焦MoE LLM，首次发现超级专家子集。通过多模型实证分析，揭示其分布规律、重要性及对注意力机制的影响，开发识别工具，为模型压缩提供新方向。
全国首部AI智能体应用评估标准，现公开征集起草单位和个人！
2025年成AI智能体元年，国务院提出到2030年智能体等应用普及率超90%目标。但企业部署智能体面临‘效能黑箱’。智合标准中心发起《企业级AI智能体应用效能评估规范》团体标准起草，现征集起草单位和个人。
年底，国产开源LLM又迎来一波大爆发：Qwen、美团、智谱、腾讯、百川
年底国产开源LLM大爆发，抱抱脸热榜Top10占一半。介绍了Qwen3 - TTS、LongCat - Flash - Thinking - 2601等多个模型，各有亮点，如Qwen3 - TTS覆盖多语种，LongCat支持重思考模式。
Karpathy组建大模型「议会」，GPT-5.1、Gemini 3 Pro等化身最强智囊团
前OpenAI联合创始人Andrej Karpathy发推称养成用LLM阅读习惯，还做了个新项目，让四个最新大模型组成LLM议会当智囊团。项目是Web应用，提问后多模型处理，有互评和投票机制，已开源。
SOTA级的Embedding模型！F2LLM模型、数据、代码全部开源，人人可用
Embedding 模型应用广泛，但主流模型训练困难。蚂蚁集团与上海交大推出 F2LLM，含 0.6B、1.7B、4B 系列模型，仅用六百万数据微调基座，在 MTEB 榜单领先且完全开源。介绍了其数据、训练、测评等情况。
这个扩散LLM太快了！没有「请稍后」，实测倍速于Gemini 2.5 Flash
AI初创公司Inception Labs推出首款专为聊天定制的商业级扩散LLM——Mercury。它速度超快、效率高，能实时响应对话。实测显示其速度优于Gemini 2.5 Flash等，不过生成质量有待提升。
LLM助力突破尘封60年数学猜想！北大王立威团队大幅刷新斯坦纳比下界
北大王立威团队构建基于 LLM 的框架，聚焦 Gilbert - Pollak 猜想，将二维平面斯坦纳比从 0.824 改进到 0.8559。该进展被陶哲轩收录，工作已被 ICML 2026 接收，代码和证明均已开源。