「系统评估」共找到 2286 篇相关文章
为什么 Agent Memory需要 AML：看 AML “变量控制”的工程设计
传统 Agent 记忆评测有水分，近日放榜的 Agent Memory Leaderboard (AML) 通过严格控制变量构建盲测管线。文章从技术架构深拆其工程细节，还分析了首期榜单，指出其重构评估变量的价值。
Fable 5解禁即翻车！写一行代码就降智，开发者破防
消失19天的Fable 5解禁即翻车，因过度审查和双标机制，让开发者破防。但抛开护栏，它执行复杂任务能力强。A社同期发布的Sonnet 5也遭群嘲，此外，A社还提出评估框架并向政府让步。
AI编程真面目：完整项目通过率仅27% | 上交大新基准
多校联合团队发布ProjDevBench，评估AI编程智能体端到端项目开发能力。结果显示，六种主流智能体总体提交AC率仅27.38%，从零构建任务中性能大幅下滑，还揭示了智能体多方面短板。
上交大 × 华为小艺推出LoPA：7B扩散语言模型单样例1000+ tokens/s！
上海交通大学DENG Lab联合华为小艺团队提出无需训练的解码算法LoPA，配合自研的LoPA - Dist分布式推理系统，显著提升扩散大语言模型（dLLMs）的推理并行度和吞吐量，将推理效率推向新高度。
数据与舆情双引擎：DeepAnalyze + BettaFish
DeepAnalyze是面向自主数据科学的大语言模型，能自动完成数据科学任务，支持完整流程、开放式研究且完全开源。还提出两项关键技术。微舆 - BettaFish是舆情分析系统，四类智能体协同工作，有六大核心优势。
GPT-5的魔幻现实主义：当技术神话撞上用户预期
奥特曼宣传数月的GPT - 5上线24小时遭用户吐槽，实测基础数学、拼写有问题。其采用智能路由系统，调教欠佳。奥特曼承认自动切换器故障，基准测试结果混乱，还暴露AI评价难等问题。
中山大学&华为联合提出 Issue Resolution 数据集构建神器SWE-Factory：每条只要$0.024
中山大学和华为联合提出低成本开源方案 SWE-Factory，可自动收集代码打造高质量代码评估数据集。它能解决传统构建流程繁琐、依赖人工的问题，实现全流程自动化，还构建了 SweSetupBench 数据集，表现出色。
医疗AI平台Abridge获3亿美元，估值53 亿美元
医疗AI平台Abridge获3亿美元E轮融资，估值达53亿美元。其利用AI为医疗场景服务，核心功能“环境监听”可生成临床笔记。目前超150家医疗系统使用，正拓展收入周期管理等业务。
Claude Code把自己的提示词删掉80%，我照着砍了自己的60%
Anthropic将Claude Code系统提示词删减超80%，编码评测表现无明显下降。文章阐述删减背后判断，给出六条变化策略、四类文件写法及两条方法论，还介绍实施步骤，作者按此精简提示词约60%。
数学推理热潮下的冷思考！如何训练真正"全能"的推理模型？
论文评估20余个开源推理模型在多领域表现，发现多数模型数学成功难迁移。揭示微调方法（RL vs SFT）决定能力泛化，SFT像‘填鸭’，RL似‘思维健身’，为构建通用推理智能体提供新路径。