「评估细节」共找到 958 篇相关文章
代码Agent的苦涩教训！首次拆解上下文检索，直指自动化软件瓶颈
ContextBench首次从「过程」评测代码智能体，揭示当前模型多读少用、被关键词误导等深层问题。它基于真实问题修复任务，由专家标注「黄金上下文」，用多指标评估。研究显示，复杂架构未必效果好，模型重召回轻精确等。
拿着做数学题的 PRM 来评判 Agent 调用工具，基本是行不通的！
目前评估体系多为结果导向，在工具调用上缺乏像样的PRM基准。Arizona State University和Intuit AI Research研究者推出ToolPRMBench，指出用做数学题的PRM评判Agent调用工具行不通，还介绍了其构建方法、训练范式和实验结果。
那个用半成品刷爆SOTA的Qwen3超大杯推理版，现在正式上线
阿里千问率先发布Qwen3-Max-Thinking正式版，刷新全球SOTA。该模型总参数超万亿，有技术创新，提升了推理性能和原生Agent能力。实测代码和工具调用能力强，还透露技术细节，中国开源模型影响力不断提升。
GPT-5准确率不足40%！北大发布多模态、高难度化学基准SUPERChem
北大团队发布多模态、高难度化学基准SUPERChem，构建评估大语言模型化学推理能力新体系。测试显示，GPT - 5准确率仅38.5%，与低年级本科生相当，且模型在高阶推理有短板，该基准为模型优化指明方向。
谷歌发布智能体Scaling Law：180组实验打破传统炼金术
谷歌新论文通过180组实验找到智能体的Scaling Law（定量扩展原则），在四个基准测试评估，推导预测模型，实验结果颠覆直觉，还量化阻碍因素，发现不同模型协作性格，为智能体部署决策提供支撑。
还是谷歌懂程序员？Demis 采访首提“氛围编程”，Gemini 3 彻底戒掉“爹味”说教
谷歌连发产品，Gemini 3 余温未消又推出 Nano Banana Pro。Google DeepMind CEO Demis 与团队副总裁对话谈其细节，包括降低运行成本、调整“人设”、提出“氛围编程”，还认为 AGI 到来需 5 到 10 年及研究突破。
谷歌Agent正在憋大招：AI科学家内测，锦标赛制“炼”想法，一次跑40分钟
谷歌正为Gemini Enterprise开发多智能体系统，能扮演联席科学家提炼想法，实现研究自动化。工作时以锦标赛形式评估想法，一次运行约40分钟，还准备了“想法生成”“联席科学家”等智能体。此外还有“与文档对话”功能。
分析1.8亿份招聘数据后，他告诉你AI究竟取代了哪些工作
本文分析1.8亿份全球招聘信息，发现AI不是造成大规模失业主因，影响因岗位而异。创意执行类岗位下降多，AI基建岗位增长，程序员、客服、销售较稳定，高层受冲击小，还给出评估岗位安全的建议。
大模型追逐星辰大海，GPT和Gemini国际天文奥赛夺金
新论文以国际天文学和天体物理学奥林匹克竞赛 (IOAA) 为基准测试，证明 GPT - 5 和 Gemini 2.5 Pro 能在天文奥赛获金牌。研究还分析不同模型表现、与人类成绩对比及错误类型，强调需全面评估模型科研潜力。
告别AI“乱画图表”！港中文团队发布首个结构化图像生成编辑系统
现有AI生图工具在结构化图像生成上问题多，理解与生成能力有鸿沟。港中文等校联合团队提出首个综合性方案，涵盖数据集构建、模型优化、评估基准三大模块，助多模态模型画准图，推动其发展。