搜索：自动评测体系

「自动评测体系」共找到 1694 篇相关文章

不再迷信Hackathon，把Agent推翻重做了4次！Notion负责人复盘：做AI产品如何避免“逆流而上”？

Notion负责人复盘Agent开发历程，指出AI替代的是流程。他们将模型、产品和权限接入同一框架，历经多次重构，还探讨了组织管理、评估体系、软件工厂等内容，分享对CLI和MCP的看法及产品定价策略。

前沿模型在SWE - bench Verified测试中得分超80%，但该测试像开卷填空。中国人民大学提出BeyondSWE重新设计评测，规模是前者18倍，模型得分全跌破45%。还提出SearchSWE框架，结果显示搜索与编码能力融合待提升。

OpenAI前首席科学家Ilya在访谈中提出对AGI的新定义，还指出AI规模时代结束，未来拼想法和研究深度。他分析模型评测强但经济影响弱的原因，阐述人类价值函数作用，且SSI战略或调整。

谷歌Gemini 3.0疑似上线LMArena，其Pro和Flash马甲被扒。实测中，Gemini 3 Pro能精确看表，GPT - 5等表现不佳；SVG测试有提升但也有不足；还能作曲。不过评测方式老套，希望有新花样。

腾讯混元团队开源的原生多模态生图模型混元图像 3.0，开源仅一周就在国际权威评测榜单 LMArena 上超越谷歌 Nano - Banana 等，位列文生图综合和开源榜单第一。实测表现出色，技术上也有诸多创新。

OpenAI提前发布Sora 2模型，可克隆音色，支持多语言。还推出似AI版抖音的社交APP，免费生成视频。测试显示，它有世界知识，能多参生成、自动切镜头，在多方面表现出色，但版权限制严，部分一致性待提升。

小红书联合多科研机构发布 SWE-Bench Mobile，它是首个还原‘端到端’开发流程的基准，以小红书 App 实际任务为核心。评测显示，AI Agent 在移动端开发能力上限低，架构设计比模型本身重要，简单提示策略效果更好。

近日，AI-native智能投资管理公司GIM完成A轮数千万美元融资，由弘毅投资旗下金涌投资和B Capital联合领投。公司沿着垂域大模型和自进化智能体系统两条主线建设资管基础设施，已进入实战阶段。

GitHub上的BrowserAct项目是面向AI Agent的浏览器自动化CLI，是为AI Agent设计的真实浏览器执行层。它有三层反检测突破体系、三种浏览器模式等功能，能解决Agent操作浏览器的诸多问题，适合多场景。

文章结合Anthropic、OpenAI方法论与项目实践，分享为存量Java应用构建Harness体系，将AI代码率从不到25%提至90%的方法。介绍Harness概念、现状挑战、实战步骤、关键经验及效果，还对其未来发展做了展望。