「评估工具」共找到 2519 篇相关文章
九成以上模型止步白银段位，只有3个铂金！通用AI下半场评测标准来了
OpenAI研究员姚顺雨提出AI发展步入新阶段，下半场关键在评估模型真实智能。新加坡国立大学等团队提出“通才智能”评测框架，剖析多模态大模型短板，推出五级评估体系和测试集，测试结果暴露模型弱点，引发社区积极反响。
OpenAI深夜开源HealthBench，60个国家合力开发5000段真实对话
今天凌晨1点30，OpenAI开源医疗大模型测试评估集HealthBench。其5000段核心测试对话由60个国家/地区的262名医生打造，采用多轮对话测试。测试显示大模型在医疗保健领域表现显著提升，还介绍了其构建及评估等情况。
通过逆向工程探秘 Claude Code 背后的运作机制
作者通过逆向工程研究Claude Code内部运作，了解其比Cursor等工具慢且贵的原因。Claude Code注重通用性和安全性，执行任务时多有安全检查，虽增加成本延迟，但更可靠，且在命令行工具中用户体验出色。
Agent接管EDA工作流，不只写脚本！浙大打通真实芯片设计闭环
大模型正以Agent形态进入真实EDA工具链。浙大卓成团队构建OpenClaw + FluxEDA联合架构，打通关键链路，解决模型操作真实EDA工具的难题，在多任务中完成连续分析与优化闭环，推动EDA工作流范式转变。
全球首个科研LLM竞技场上线！23款顶尖模型火拼：o3夺冠，DeepSeek第四
Ai2耶鲁NYU联合推出科研版「Chatbot Arena」——SciArena，23款顶尖大模型比拼科研任务，OpenAI o3夺冠，DeepSeek第四。该平台解决通用基准测试在科研场景‘失效’问题，但其自动评估系统猜科研人偏好远未及格。
一篇400+文献最新RAG技术系统性综述
本文对RAG技术进行系统性综述，通过筛选5大数据库、128篇高被引文献、343个数据集，给出技术地图、评估框架与未来路线，梳理技术全景、评估指标，还介绍主流数据集，指出RAG已演变为复杂系统。
我觉得“Agent”这个词，现在终于有了一个大家都认可的定义了
作者Simon Willison认为现在‘Agent’有了大家认可的定义，即一个AI Agent是为实现目标循环调用工具的大语言模型。还分析了此前难统一定义的情况、‘工具循环实现目标’含义，指出不同人群对‘Agent’理解有偏差。
云计算一哥，刚刚重新定义了AI Agent的玩法
亚马逊云科技在纽约峰会上重新定义AI Agent部署方式，发布Amazon Bedrock AgentCore工具包，还推出Marketplace中的AI Agents和工具、Amazon Nova定制化功能等，在数据层和编程应用也有新动作，展现其AI Agent战略布局。
AI coding 智能体设计
文章从分析Gemini - CLI源代码入手，解读AI coding工具智能体设计。涵盖用户提示词预处理、工具注册与调用、架构设计、预置提示词等内容，还对比了Gemini - CLI和Claude Code可扩展性设计，介绍规约驱动开发模式。
颜水成领衔，给AI分段位！超100款多模态模型，无人达到L5
十所顶尖高校联合发布General - Level评估框架和General - Bench基准数据集，用五级分类制明确多模态通才模型能力标准。评估超100款模型，发现多数在L2 - L3，无L5模型，揭示当前模型不足。