「智能体基准」共找到 4112 篇相关文章
程序员从此不再写代码！红杉专访Codex团队，o3白菜价真相曝光
红杉专访OpenAI Codex团队，揭示AI编程未来。Codex从代码补全演化为智能体，强调委托心态，开发者从动手转向审核。还爆料OpenAI内部有递归自我改进的AI Alice。
医疗AI迎来大考！南洋理工发布首个LLM电子病历处理评测 | AAAI'26
南洋理工大学研究人员构建EHRStruct基准，涵盖11项核心任务、2200个样本，用于评测LLM处理结构化电子病历的能力。研究发现通用大模型优于医学专用模型，提出的EHRMaster框架与Gemini联合后性能超现有模型。
多模态模型挑战北京杭州地铁图！o3成绩显著，但跟人类有差距
近年来，多模态大模型在多种场景取得进展，但能否‘看懂图’存疑。西湖大学等团队提出评测基准ReasonMap，评估模型在地铁图理解中的能力，发现主流模型有瓶颈，闭源模型虽优但仍逊于人类。
二元成功率已经过时！PRM-as-a-Judge才是你需要的具身操作评测框架
传统二元成功率评测具身操作任务有局限，难回答策略推进、执行效率等问题。中科院自动化所等机构研究人员提出PRM - as - Judge框架，含进度势能、OPD指标体系和RoboPulse基准，能细粒度审计执行过程。
前荣耀AI实验室主任带队：用“超级大脑”接管农场，24小时不打烊
浙江丘沃智能的AlphaFarm系统开启无人农场新范式，由前荣耀AI实验室主任汤泳等“AI极客”打造。该系统能自主决策执行、实时监控，有四大黑科技，经评估在农业垂直领域领先。
Thinking with Video：一种全新的思考范式
在人工智能领域，‘用文本思考’和‘用图像思考’存在局限。复旦大学等团队提出‘用视频思考’范式，通过视频生成模型统一文本与视觉推理，构建VideoThinkBench基准测试Sora - 2，全面解读这一开创性工作。
前 DeepMind 研究员反思：评测，而非算力或数据，才是下一阶段的瓶颈
前 Google DeepMind 高级研究员 Lun Wang 在技术长文中指出，当前主流评测体系滞后，静态基准会“安静失效”。作者主张引入序参量，呼吁构建自演进评测，还为一线工程师提供了研发建议。
“图片秒生”，腾讯混元图像2.0模型正式发布，主打速度和真实感
5月16日，腾讯发布混元图像2.0模型，率先实现实时生图，生图速度快、质量高，能避免‘AI味’。在GenEval基准上准确率超95%，还发布实时绘画板功能，后续将推原生多模态模型。
Evaluation is All You Need：评估设计的微小差异如何扭曲结果
论文以DeepSeek - R1 - Distill系列模型为例，指出大模型评估中看似客观的基准测试结果对评估细节极度敏感，细微评估条件变化会致分数波动大，削弱模型对比可信度，呼吁建立新评估标准。
具身导航：感知推理是上帝，还是执行控制是命门？| GAIR Live 023期预告
具身导航正从‘几何避障’向‘空间智能’跨越，当前领域经历范式变革。GAIR Live 023期线上圆桌将聚焦其前沿进展与落地问题，邀请两位专家拆解底层逻辑，还给出了核心议题、讨论精华预览及参与方式。