「自动化评测」共找到 1070 篇相关文章
OpenAI 全面拥抱 Agentic-First，实测有点扎心
OpenAI发布GPT - 5.6系列，Sol定位长周期Agent，训练目标转向Agentic - First。但目前难以用上Sol，且其评测数据因计数规则差异大，还出现变身话痨、少说话和干完活难兼顾的问题。
多模态大模型持续学习系列研究，综述+Benchmark+方法+Codebase一网打尽！
近年来，生成式AI和多模态大模型进展显著，但在动态环境下实现持续学习是挑战。中科院自动化所联合香港院AI中心系统性研究，提出综述、方法、Benchmark和Codebase，为相关人员提供全面支持。
大模型解数学题是真懂还是 “死记硬背”？｜首个反例驱动的数学推理基准揭穿 “刷题式假象”！
随着大语言模型在数学领域应用渐广，其是否真具备数学推理能力成焦点。清华等团队提出反例推理评测基准COUNTERMATH，测试20+主流模型，结果不佳，而小样本微调能显著提升模型能力。
9 个加速开发者生产力的开源 AI 与 MCP 项目
Github官方精选9个开源项目，分框架与平台集成、开发者体验及AI增强编码、自动化与测试编排三大主题。各项目聚焦不同功能，如将MCP嵌入框架、语义理解辅助编码、安全执行调试等，能加速开发者生产力。
如何判断AI视频真假？综述动态、可溯源、可解释的检测体系 | ACL26
AI视频生成技术发展快，现有检测方法难满足需求。新综述提出‘事实保真度验证’目标，梳理四层检测框架，涵盖底层线索、时空一致性等，强调多层证据耦合与可解释性，还分析评测指标与数据集。
DeepSeek在Agent上做了件大事！
昨天DeepSeek发布V3.2正式版，强化Agent能力并融入思考推理，其在Agent评测达开源模型最高水平。文中分析Agent成开源‘心病’的痛点，介绍DeepSeek相关解决策略及成果，还给出使用示例。
1300亿美元，买断AGI未来？OpenAI完成5千亿股改，奥特曼0股权
OpenAI完成架构重组，非营利的OpenAI基金会手握1300亿美元股权掌控营利部门。CEO奥特曼直播分享诸多重要内容，如算力目标、研发自动化AI研究员计划等，还谈及平台战略、隐私等议题。
Nature点赞！哈佛MIT最新作：AI科学家时代来了
哈佛MIT推出ToolUniverse，这一开源框架让AI用自然语言操作600+科学工具，解决了科学研究中AI智能体面临的工具格式不统一等问题，推动科研自动化升级，助力打造AI科学家。
76%程序员依赖AI？代码安全挑战解析
GitHub报告显示76%程序员用AI编程，代码安全成挑战。腾讯等团队建A.S.E评测框架，有项目级代码生成等优势，能评估代码安全、质量与稳定性，未来将扩充功能，邀开发者参与。
研究表明：资深开发者在使用AI工具时，完成任务的时间比不使用时延长了19%。
研究通过随机对照试验，发现2025年初资深开源开发者使用AI工具完成任务时间比不使用时延长19%。当前衡量AI能力多依赖标准化评测，可能高估或低估其真实能力，研究旨在更准确评估。