「大语言模型评估」共找到 8171 篇相关文章
快慢Reasoning综述！
大型语言模型在复杂推理任务中有‘无差别计算’缺陷，阻碍其在多场景应用。本文提出双层效率优化框架，梳理两类前沿技术，通过实验揭示瓶颈，为轻量化推理指明路径。
视觉感知RAG × 多模态推理 × 强化学习 = VRAG-RL
数字化时代视觉信息愈发重要，传统RAG方法处理视觉信息面临挑战。阿里巴巴通义实验室的VRAG - RL将强化学习引入多模态智能体训练，革新检索生成范式，提升视觉语言模型多方面能力，代码已开源。
33%！Claude、GPT、Gemini 在真实网站上集体翻车，ClawBench 把 AI agent 打回原形
ClawBench让AI在144个真实网站执行153个日常任务，结果惨烈，如Claude Sonnet 4.6每三任务翻车两个，GPT - 5.4仅完成10个。它还揭示AI在真实环境的问题，为评估模型提供标尺。
「0污染」LLM理解基准来了！20000道题14个学科全覆盖，来自微软
MMLU-CF是微软亚洲研究院推出的无污染多任务语言理解基准测试，含20000道题、覆盖14学科。通过去污染规则和闭源测试集防数据泄露，保证评估结果可靠，已在Huggingface开放。
谷歌推出 LLM-Evalkit，为提示词工程带来秩序与可衡量性
谷歌推出基于 Vertex AI SDK 的开源框架 LLM - Evalkit，让大语言模型提示词工程更有序可衡量。它整合实验、测试等环节，与谷歌云工作流集成，有无代码界面，已在 GitHub 发布。
The Batch: 892 | 教育应与 AI 协作，而非对抗
三年多前ChatGPT发布，教育改变。曾寄望用AI检测器识别生成文本，但学生易规避。检测难维持信任，还可能惩罚错对象。生成式AI可提升学习，应构建新评估模型，如展示真实理解等。
仅用1/9的token拿下SOTA，用LLM当知识路由：全新RAG框架DeepSieve
大语言模型遇「最新」或「垂直领域」知识易出错，传统RAG做法有痛点。全新RAG框架DeepSieve把LLM当知识路由器，四步筛选信息，实验精度高、成本低，消融实验明确各模块价值，还有救场案例。
AI 模拟消费者，预测购买意图准确率达 90%
PyMC Labs和高露洁棕榄团队研究发现，让大语言模型扮演消费者，用另一AI评分可90%准确预测购买意图，还提出SSR方法。虽有优势，但也面临质疑和局限，可增强市场调研。
Google推出 AI 科学家：自动编写专家级代码，40个新方法碾压人类 SOTA
Google新发布的AI系统能编写科学软件、发明新方法，结合大语言模型与树搜索技术。在生物信息学、流行病学等多领域超人类最优水平，引发网友对科研影响的讨论。
告别死记硬背！SkillRL自动提炼Skills持续进化
大型语言模型智能体常孤立运行，难从经验学习。SKILLRL受人类技能启发，提出有效经验迁移需抽象。它通过经验驱动的技能蒸馏、分层技能库和递归技能进化机制，在多实验中表现出色。