「LLM评估」共找到 1596 篇相关文章
苹果新研究：不微调、不重训，如何让AI提问效率暴增6.5倍？
苹果与牛津、港城大合作提出 BED - LLM 方法，能让 AI 解决问题能力提升 6.5 倍，无需微调重训。它基于序贯贝叶斯实验设计框架，通过三重智慧设计，经测试全面超越基准方法，或开启‘智慧对话’时代。
Karpathy最新分享！给大模型做好“服务”将是巨大机会
近日，Karpathy在AI Startup School演讲，提出AI正从根本改变软件。他将软件分三个时代，认为LLM是全新操作系统，还指出其特长与局限，点明AI时代两大机遇：部分自主应用和构建Agent友好工具。
14%论文都有AI代写？Nature：每7篇就有1篇藏有ChatGPT特征词
据Nature报道，研究发现在2024年PubMed上超20万篇生物医学研究摘要频繁出现LLM特征词。部分国家和学科中，AI辅助写作比例超五分之一且趋势上升，作者还会引导LLM规避痕迹。
超越DeepSeek-R1，数学形式化准确率飙升至84% | 字节&南大开源
字节跳动Seed团队与南京大学联合发布CriticLean框架，将数学自然语言到Lean 4代码的形式化准确率从38%提升至84%。该框架创新性地将评估模型置于核心，解决语义对齐等问题，还构建了相关基准测试和数据集。
鹅厂实习生血泪贴：Agent/RAG黑科技，真相竟是这样！
腾讯实习生分享鹅厂项目实战经验，介绍Agent/RAG黑科技。先讲RAG原理、优化方法及评估流程，还提及文档解析；再阐述智能体定义、历史、原理、分类、评估框架与实践案例，助读者快速入门。
Notion、Stripe 都在用的 Agent 监控，Braintrust 会是 AI-native 的 Datadog 吗？
当 Agent 迈向产品化，开发者面临观测、评估和优化黑箱系统的挑战。Braintrust 由 Ankur Goyal 于 2023 年创立，重塑 Observability，提供 Eval 和 Ship 模块，获多家头部公司青睐与投资。文章从多方面剖析其能否成 Agent 时代‘新 Datadog’。
永别了，人类冠军！AI横扫天文奥赛，GPT-5得分远超金牌选手2.7倍
国际天文与天体物理奥赛（IOAA）中，GPT - 5和Gemini 2.5 Pro完胜人类选手。俄亥俄州立大学团队考察五大顶尖LLM，发现它们大多达金牌水平，但在几何、时空推理等方面有困难。
大模型能否为不同硬件平台生成高性能内核？南大、浙大提出跨平台内核生成评测框架MultiKernelBench
深度学习计算依赖底层内核，当前多由开发者手工编写。南大、浙大推出开源评测框架MultiKernelBench，打破现有评测基准局限，构建模块化评测体系，多模型实测，还指出LLM短板并明确未来方向。
OpenAI研究大模型对GDP贡献，三大行业已能代替人类，并自曝不敌Claude
OpenAI推出新评估方法GDPval，跟踪模型在现实任务表现。评估显示前沿模型接近专家水平，Claude Opus 4.1表现最佳，GPT - 5准确性出色。还发布黄金子集和评分服务，其处于起步阶段将持续扩展。
从 Prompt 到 Context：基于 1400+ 论文的 Context Engineering 系统综述
本文围绕Context Engineering展开，介绍其定义、与Prompt Engineering区别，从LLM OS视角说明其重要性，指出context处理不当的问题，对其分类及处理管理过程进行探讨，还提及面向LLM Context开发的变化。