「评测系统」共找到 2235 篇相关文章
Auto Research最后一块拼图，Frontier-Eng Bench登场，在工程闭环里死磕最优
Einsia AI旗下Navers Lab论文Frontier - Eng推出新评测范式Generative Optimization，搭硬核评测系统，覆盖47个横跨5大工程方向的任务。评测多种模型，结果显示gpt 5.4最稳健，但距资深工程师水平尚远。
全球第二、国内第一！钉钉发布DeepResearch多智能体框架，已在真实企业部署
在数字经济浪潮中，企业对高效信息获取与决策支持需求迫切，但现有研究系统存在不足。阿里巴巴钉钉团队提出Dingtalk - DeepResearch多智能体框架，在评测中成绩优异，已在真实企业场景部署。
10万token自然语言推理，让30B-A3B模型站上奥赛金牌线
上海人工智能实验室报告显示，30B - A3B规模的SU - 01模型不依赖外部工具，经训练在IMO、USAMO、IPhO等奥赛评测达金牌水平。研究还验证更高效科学推理系统路线，有望用于更多科学问题。
让OpenAI只领先5天，百川发布推理新模型，掀翻医疗垂域开源天花板
百川智能发布医疗推理大模型Baichuan - M2 - 32B，在OpenAI的Healthbench评测集上超越刚发布5天的gpt - oss - 120b，领先多数前沿模型，支持RTX4090单卡部署，还首创患者模拟器和Verifier系统。
Claude Code把自己的提示词删掉80%，我照着砍了自己的60%
Anthropic将Claude Code系统提示词删减超80%，编码评测表现无明显下降。文章阐述删减背后判断，给出六条变化策略、四类文件写法及两条方法论，还介绍实施步骤，作者按此精简提示词约60%。
鼠标的未来是手环？解码肌肉信号，Meta黑科技登上Nature
Meta推出非侵入性神经肌肉交互系统，利用手腕表面肌电图（sEMG）实现人机交互，该技术登上7月24日的Nature。实验在连续手势控制、离散手势控制和打字三个任务评测效果不错，适合特殊人群，也能弥补脑机接口数据不足。
SaaS 已死？不，SaaS 会成为 Agent 时代的新基建
文章指出AI Agent不会杀死传统软件系统，传统SaaS系统会成Agent时代的新基建。企业内部数据混乱，Agent能力上限取决于对数据的运用，CRM、ERP等系统将从服务人转向服务Agent，记录系统会被拆解重构。
说一个反常识的真相，Agent如今在真实工作场景的成功率依然很低。
作者有感于AI在真实工作场景评测的稀缺性，以阿里国际站RealReplicaBench评测集为例，介绍电商场景任务，发现多数模型成功率低，其他领域类似，呼吁厂商努力，作者也计划自跑评测更新排名。
游戏研发中的 AI 转型：网易多 Agent 系统与知识工程实践
本文整理自网易游戏高级技术经理林香鑫分享，介绍大模型在游戏研发落地实践。团队用代码知识谱图、多 agent RAG 召回等技术打造超级助手，在多业务场景落地，推动内部 AI 生成代码覆盖率提升。
OpenAI谈：大模型为什么会有幻觉？如何避免？
OpenAI论文探讨大模型幻觉问题，指出评测缺陷，像多数AI模型评测非对即错，模型为得分会瞎猜。还从预训练和后训练阶段剖析根源，提议改造评测，引入置信度阈值和错误惩罚机制。