「LLM评估」共找到 1596 篇相关文章
不是视频模型“学习”慢，而是LLM走捷径｜18万引大牛Sergey Levine
UC伯克利大学副教授Sergey Levine提出，为何语言模型从预测下一词中学到很多，视频模型从预测下一帧却学得少。他指出LLM可“抄近路”模仿人类推理，像在“柏拉图洞穴”中，还探讨了AI走出困境的方法。
让AI自己“炼数据”！DataChef开源：用强化学习自动生成LLM数据配方
上海人工智能实验室联合复旦大学开源DataChef，它能通过在线强化学习自动生成LLM数据配方。实验显示其能力逼近Gemini - 3 - Pro，超越人类专家设计算法，解决传统数据工程难题，推动大模型数据工程迈向新范式。
全国首部AI智能体应用评估标准，现公开征集起草单位和个人！
2025年成AI智能体元年，市场规模爆发式增长，但企业部署面临‘效能黑箱’。智合标准中心发起《企业级AI智能体应用效能评估规范》团体标准起草，现公开征集起草单位和个人。
「0污染」LLM理解基准来了！20000道题14个学科全覆盖，来自微软
MMLU-CF是微软亚洲研究院推出的无污染多任务语言理解基准测试，含20000道题、覆盖14学科。通过去污染规则和闭源测试集防数据泄露，保证评估结果可靠，已在Huggingface开放。
成本暴降88%！通义实验室、北大发布ZeroSearch，无需搜索即可激活LLM检索能力
信息检索能力对提升大语言模型推理表现至关重要，但现有方法在训练中面临文档质量不可控和搜索 API 成本高昂两大挑战。为此，通义实验室和北大提出 ZeroSearch 框架，无需真实搜索即可激活 LLM 检索能力，显著降低成本。
马斯克亲自点名Karpathy迎战Grok 5！别神话LLM，AGI还要等十年
OpenAI创始元老Karpathy称AGI仍需10年，指出实现AGI难题多。马斯克点名其与Grok 5编程大战被拒。Karpathy还谈及LLM、强化学习、智能体等观点，主张合理看待AI发展。
LLM协作告别文本形式：直接“脑对脑”，Cache-to-Cache实现语义瞬时传输
现有多LLM系统依赖文本通信，效率低且易失真。论文提出Cache - to - Cache（C2C）范式，让LLMs通过KV - Cache“脑对脑”交流，实现高效精准语义传输，在多类任务中提升性能与效率。
超越RAG，DRAG让LLM准确率飙升45.5%，问题越复杂能力越强
RAG技术虽能让LLM检索资料生成答案，但存在短板，听不懂话里有话。DRAG方法应运而生，有DRA和RSC两大法宝，经对比实验，它在多任务上领先，准确率大幅提升，计算开销小。
北航LiveRepoReflection: 扭转乾坤-仓库级代码反射
本文提出LiveRepoReflection基准，评估多文件仓库代码理解和生成能力，含1888个测试案例。创建RepoReflection - Instruct数据集训练RepoReflectionCoder，评估40多个LLMs，结果显示其能有效测模型反思修复能力。
LLM-based Reranker效果到底如何？一项关于SoTA模型的全面分析
在信息爆炸时代，重排序是信息检索系统核心。论文对22种重排序方法实证研究，构建无污染数据集FutureQueryEval。结果显示LLM重排序器泛化能力被高估，轻量级模型有优势，为研究和应用提供指南。