「评测基准」共找到 1423 篇相关文章

推荐文章8

AI 智能体实践评估:基准、框架与经验总结

文章为将 AI 智能体从原型落地到生产环境的团队提供实用评估框架。指出传统评估不适用于智能体,介绍评估工具,阐述五大评估支柱,还给出基于 Claude 和 LangChain 的评估示例及实践经验。

InfoQ
开源动态8

The Batch: 929 | Qwen3.5 超越更大模型,领跑视觉基准测试

阿里巴巴发布 Qwen3.5 系列,含 8 个开源权重的视觉 - 语言模型。其小模型表现超大体量 OpenAI 开源权重模型,在视觉任务中整体出色,部分在语言任务也有竞争力。虽团队有人员离职,但阿里承诺加大 AI 投入。

DeeplearningAI
算法论文8

AI编程真面目:完整项目通过率仅27% | 上交大新基准

多校联合团队发布ProjDevBench,评估AI编程智能体端到端项目开发能力。结果显示,六种主流智能体总体提交AC率仅27.38%,从零构建任务中性能大幅下滑,还揭示了智能体多方面短板。

量子位
算法论文8

多模态幻觉的病因「高熵节点」找到了!全基准幻觉率下降

多模态大推理模型的幻觉常出现在生成转折词时,此时模型处于高熵关键节点,易脱离图像证据。研究者提出LEAD,高熵时保留候选推理方向,注入视觉锚点拉回证据,实验显示它能跨领域提升模型性能。

新智元
算法论文8

好看不等于会交互!阿里发布基于交互的世界模型基准

阿里等联合推出 Omni - WorldBench 评估框架,指出多数高颜值 AI 视频在物理规律和交互逻辑上有缺陷。该框架含提示词套件和量化评估框架,对 18 款模型测评,为 4D 世界模型研发指明方向。

AIGC开放社区
新闻资讯8

GPT-6 Astra发布,多个基准测试接近满分,“欢迎来到AGI时代”?

当地时间9月3日,OpenAI发布GPT-6 Astra,称其为“最智能、最对齐”的模型。它在多测试表现逆天,能力提升显著,还加入新特性。不过价格更高,也带来安全问题。

DeepTech深科技
新闻资讯8

Claude 5史诗级泄露,史上最强编程模型评测炸裂!核心秘密曝光

Anthropic的Claude Sonnet 5即将发布,已存在于谷歌基础设施中,性能领先谷歌‘Snow Bunny’一代。它价格比Opus 4.5便宜50%,有100万token上下文窗口,SWE - Bench成绩超80.9%,还有自动开发团队模型。

新智元
算法论文7

DeepSeek-OCR是「长文本理解」未来方向?中科院新基准VTCBench给出答案

DeepSeek - OCR的VTC技术可实现高压缩率,降低长文本处理成本。但视觉语言模型能否理解压缩信息存疑,中科院等推出VTCBench评估,测试模型认知极限,还推出VTCBench - Wild检测鲁棒性。

机器之心
产品应用7

BrowseComp等评测集第一,秘塔推出「深度研究」,已开启免费公开访问

世界变化快,AI领域新概念不断。秘塔在上线“浅度研究”五个月后,将其升级为“深度研究”。该模块最初由OpenAI推出,秘塔版可免费公开访问,准确率优,还让研究过程可见。

深度学习自然语言处理
算法论文8

北大发布学术搜索评测ScholarSearch:难倒一众DeepResearch的“开卷考试”

北京大学DS - Lab发布ScholarSearch,这是评估大语言模型学术检索能力的数据集,含223道高难度题目。评估显示现有模型表现欠佳,纯推理模型准确率低,有搜索功能的模型虽有提升但仍不足。

量子位