「基准测试集」共找到 2446 篇相关文章
MIT成果登Nature正刊：90天，「AI科学家」完成3500次电化学测试
美国麻省理工学院李巨团队在Nature发表论文，展示多模态机器人平台CRESt。它结合多模态模型驱动的材料设计与高通量自动化实验，大幅提升催化剂研发速度和质量，还解决了实验结果可重复性不足问题。
720次攻击0成功！Claude Code默认放权，AI替你点「同意」
本周五起，Claude Code在新会话默认让AI替用户点「同意」。其开发者底气源于720次攻击0成功测试。不过业内人士对此不乐观，且测试有局限性，审批权移交AI有风险。
Agent失忆怎么办，Anthropic教你做好工作交接
文章指出AI Agent跨上下文窗口执行长任务时易失败，Anthropic用Opus 4.5实验发现，问题根源是交接差。解决办法是让Agent像人类工程师一样留文档、进度和测试，拆分流程，严格规范，提升测试覆盖率。
Sora 2刷屏全网：拍《瑞克和莫蒂》、过物理测试，太棒了
OpenAI推出的Sora 2刷屏海外，能完成以往视频生成模型极难实现的任务，在物理准确性、逼真度和可控性上有重大提升。它还能进行二创、模拟电脑操作等。OpenAI发布由Sora 2驱动的社交APP，强调促进创作，保障安全。
新型「验证码」诞生？这张图让 ChatGPT、Claude、Gemini 都翻了车
网友用光学错觉图捉弄大模型，人眼秒懂的图案让ChatGPT、Claude、Gemini等翻车。有人认为可作AI检测器，也有人质疑其测试有效性，此外还有其他好玩的小测试。
高潮从第几秒开始？GaMMA 让多模态大模型真正「听懂」音乐时间线
现有多模态大模型难以理解音乐时间线。复旦大学与字节跳动团队提出 GaMMA，采用双编码器融合网络，经三阶段训练，还推出 MusicBench 评测基准。实验显示，GaMMA 在多基准上表现优异，刷新 SOTA。
Agent全自动搭建代码运行环境，实时更新解决评测过拟合/数据污染问题｜微软
长期以来主流代码修复评测基准SWE - bench问题多，制约AI模型能力展现。微软发布SWE - bench - Live，引入新Issue，实现环境自动化构建与更新，打破传统局限，还揭示传统基准过拟合问题。
EMNLP 2026高分论文MathDebugger：当合成数据涌入训练集，如何为数学题做体检？
随着合成数据增多，模型需判断数学数据题目能否被信任。北大DCAI团队提出MathDebugger质检BenchMark，覆盖问答两端，评测主流LLM和PRM。还探究能否判断正误、分类错误、修复数据，证明错误标签可作监督信号。
AgentAuditor: 让智能体安全评估器的精确度达到人类水平
LLM智能体进化为“行动派”，但自主权带来安全问题。现有评估基准缺乏有效精准评估器，研究者推出AgentAuditor框架及ASSEBench基准，让LLM评估器精确度达人类水平，为构建可靠智能体提供工具。
付费Mathpix公式识别不香了~不要钱舒服！
复杂科学文献中公式识别问题重要，但现有模型有局限。DocTron - Formula通过简单微调在多场景达先进水平，还引入CSFormula数据集。它基于Qwen2.5 - VL微调，在多个数据集上效果佳。