「LLM评估」共找到 1596 篇相关文章
17万白领岗消失！Scale AI最新研究：AI仅动用了3%实力
新智元报道，近期多家巨头裁员17万，AI成“罪魁祸首”。但Scale AI和Center for AI Safety研究指出，全球六大顶尖AI自动化率不到3%，新基准RLI评估显示其执行有经济价值项目能力有限。
Anthropic实践发现：Multi-Agent系统的核心仍然是Prompt设计！
近期Anthropic分享构建多智能体研究系统最佳实践，提出8条研究智能体的提示工程与评估原则。其架构采用协调者 - 工作者模式，与传统RAG方法不同，使用多步骤搜索动态查找信息。
《动手写AI Agent》会话与记忆：记住上次聊到哪了
文章围绕《动手写AI Agent》的会话与记忆展开，指出LLM无状态、无会话持久化会让对话记录丢失。介绍了解决方案，如把对话存到磁盘及构建长期记忆，阐述设计决策并提到文件系统存储方案。
提速79%！上交大新方法优化企业级AI流程调度 | IEEE ICDCS’ 25
上海交通大学朱怡飞教授团队联合江行智能提出调度框架LLMSched，解决复合LLM应用任务运行时长和结构不确定问题。该框架重构DAG模型，用贝叶斯网络和熵减机制优化调度，实验显示最多降79%平均任务完成时间。
AI打假AI，拿下SOTA丨厦大&腾讯优图
厦门大学联合腾讯优图实验室团队提出AIGI - Holmes方法，创新性采用“大模型+视觉专家”协同架构，解决现有AIGI检测技术瓶颈，在检测、解释能力及鲁棒性评估上均取得最优效果。
号称1200万token上下文的模型来了，数据亮眼但疑点重重
当地时间5月5日，Subquadratic公司推出模型SubQ，称是LLM智能重大突破，有1200万token上下文。数据亮眼，如在1M token场景比FlashAttention快52倍等，但也引发质疑，有人推测是对开源模型微调，官方未公布详细模型卡。
6个做AI和ML的奇技淫巧
作者整理了6个做AI和ML的技巧，如提前结束评估、超参数过度优化、精心挑选数据集等，指出现在90%的模型可能都用到其中不止一招，还介绍了自己用AI采集资讯发布到知识星球。
Karpathy实测Opus 5：读一段《魔戒》，10美元直出中土世界！
Andrej Karpathy 用 Opus 5 结合《指环王》开篇文字，花约 10 美元让其渲染 3D 游戏。Opus 5 两小时写出 5500 行代码生成 3D 世界，虽粗糙但证明 AI 强大。不过，LLM 无法高效审查自己工作，这是弱点。
CL-Bench的故事没有结束，生成式CL-Bench：GENIUS来了
北大团队发布GENIUS，用于评估模型生成式流体智力。它构建含510个样本、20个子任务的评测集，测试模型多方面能力。实验显示当前模型流体智力有短板，还提出免训练注意力校准机制提升性能。
炸裂！Claude以第一作者写论文反驳苹果「推理模型根本没有推理能力」：苹果有三大错误
苹果论文称推理模型无推理能力，引发争议。Anthropic的Claude Opus以第一作者写论文反击，指出苹果研究有混淆‘推理失败’与‘输出截断’等三大问题，还通过实验证明模型能力，强调需更聪明评估方法。