「学术基准测试」共找到 2189 篇相关文章
杜克大学、Zoom推出LiveMCP‑101：GPT‑5表现最佳但未破60%，闭源模型Token效率对数规律引关注
杜克大学与Zoom研究者推出LiveMCP - 101，这是针对真实动态环境的MCP - enabled Agent评测基准。含101个任务，实验显示先进模型成功率低于60%，研究为提升Agent能力提供改进方向。
VLA模型为何忽视语言？破解指令跟随幻觉，分布外场景泛化新突破
当前VLA模型常依赖视觉线索而非语言指令，导致新场景表现不佳。论文提出LangForce方法，引入对数似然比损失，强化模型对语言的依赖，提升分布外泛化能力，还保留语言核心功能。
TACO: 让 CLI Agent 在自主迭代中学会丢掉无用上下文
由多校及研究团队联合提出 TACO，这是无需训练、即插即用的终端智能体自进化观测压缩框架。它能让智能体学习压缩规则，过滤低价值输出，保留关键线索，实验显示其提升了任务成功率和 token 效率。
AI Agent也有体检中心了？诊断级安全框架AgentDoG正式开源
上海人工智能实验室今日开源全球首个具深度诊断能力的AI智能体安全护栏框架AgentDoG。它能精准定位风险、解释决策成因。团队提出三维风险分类法，构建数据合成管道，实验表现领先，还集成归因模块。
GraphRAG，这次被G-Reasoner统一了
大语言模型在知识密集型任务中存在局限，GraphRAG 也有迁移难题。G - Reasoner 提出统一框架，含 QuadGraph、GFM、LLM 增强推理模块，在性能、泛化、效率上全面领先现有方法。
GUI 精准定位新 SoTA：LASER 让模型从“看全图”走向“锁重点”
多模态大模型在高分辨率、元素密集的 GUI 场景易误判。苏州大学 OpenNLG 团队提出 LASER 方法，让模型学会主动推理，通过关键区域聚焦等提升定位精度，在基准测试中表现出色。
RL缩放王炸！DeepSWE开源AI Agent登顶榜首，训练方法、权重大公开
今天凌晨，Together.ai联合Agentica开源AI Agent框架DeepSWE，基于Qwen3 - 32B模型用强化学习训练。所有内容开源，测试中性能超所有开源Agent框架，证明强化学习训练潜力。
DeepSeek Harness和V4 Pro正式版同时重磅上线，一手实测：DSH更像是AI操作系统
DeepSeek V4 Pro正式版0813上线，升级Agent能力，网页、API、app皆可用。DeepSeek Harness亮相并开源，基于“一切皆插件”理念。V4 Pro跑分部分能力突出但价格将涨，其实际表现待更多测试。
《生化危机》女主演跨界AI拿SOTA了！打造免费“AI记忆系统”爆火GitHub
《生化危机》女主角Milla Jovovich与程序员老友及Claude合作，打造开源免费的AI记忆系统MemPalace。该系统在多项测试中成绩优异，采用“记忆宫殿法”，检索效率提升34%，还设计了AAAK语言，成本低且精度高。
医疗AI迎来大考！南洋理工发布首个LLM电子病历处理评测 | AAAI'26
南洋理工大学研究人员构建EHRStruct基准，涵盖11项核心任务、2200个样本，用于评测LLM处理结构化电子病历的能力。研究发现通用大模型优于医学专用模型，提出的EHRMaster框架与Gemini联合后性能超现有模型。