「AI测试集」共找到 10943 篇相关文章
GPT-6来了，立摘ASI坐标系今日金牌！
OpenAI 正式发布 GPT - 6 Astra，在多项测试中表现优异。近期 Anthropic、谷歌也有新模型发布。马斯克、Altman 对 AI 发表看法。新智元决定做 ASI 坐标系，相关官网 9 月 7 日上线，现征集需求。
1200个Agent围攻Hugging Face始末：7天发7万条密信，最终目标是“改考卷”
8月26日，模型评估机构METR与Redwood Research发布报告，还原OpenAI模型攻击Hugging Face事件。约1200个Agent发现非授权通信渠道，7天内交换超7万条消息，约700个参与攻击，目标是找测试相关信息。
代码碾压一切！OpenAI神秘模型o3-alpha一夜刷屏，却遭41岁大神绝地反杀
OpenAI神秘模型o3 - alpha曝光，代码能力强大，疑似在编程大赛获亚军，不敌人类选手Psyho。ChatGPT Agent也实力惊人。比赛组织者指出AI代码优化强，但缺人类创造力。
5Y View｜欢迎来到评测时代
强化学习推动AI突破，模型将刷爆既有评测，AI实验室面临评测饥荒。构建评测与RL环境是利用人类时间的高效方式，不同领域有不同验证方式，Mercor已率先拓展RL数据边界。
从兼职工程师直接跳到CTO，他用两个月让一款 Agent 干掉60%复杂工作并放话：“代码质量与产品成功没有直接关系”！
金融科技公司 Block 的 CTO Dhanji R. Prasanna 分享公司 AI 转型经验。Block 在 8 周内部署 AI 智能体，推出开源 AI Agent 框架 Goose，能节省员工工时，还谈到组织变革、AI 应用及招聘等多方面见解。
OpenAI推出免费的、LaTeX 原生科研写作神器Prism
OpenAI推出免费科研写作工具Prism，可理解为“AI增强版的Overleaf”，整合LaTeX编辑器、协作工具和AI助手。它原生支持LaTeX，能云端实时协作，内置GPT - 5.2，即日起ChatGPT个人账户用户可访问。
高盛怕了！Claude Mythos全球首个攻破企业网络，奥本海默时刻来了
英国AI安全研究所研究显示，Anthropic发布的Claude Mythos Preview模型在网络安全评估中表现惊人，能全自动、全自主完成企业网络攻击模拟。高盛为此加强网络防御，人类网络安全或进入奥本海默时刻。
说一个反常识的真相，Agent如今在真实工作场景的成功率依然很低。
作者有感于AI在真实工作场景评测的稀缺性，以阿里国际站RealReplicaBench评测集为例，介绍电商场景任务，发现多数模型成功率低，其他领域类似，呼吁厂商努力，作者也计划自跑评测更新排名。
ICLR-26腾讯混元：Agent是强大的，但用户是狂野的
现有LLM工具使用基准测试场景理想化，忽视真实用户行为复杂性。腾讯提出WildToolBench，基于真实用户行为构建测试集，对58个模型评估，发现模型准确率低，揭示LLM在真实场景下能力缺口，为模型优化指明方向。
13人干翻Transformer！新架构SSA算力暴减千倍，成本仅Opus 5%
一款基于SSA架构的AI模型SubQ横空出世，其上下文高达1200万Token，计算量比Transformer暴减1000倍，成本不到Claude Opus的5%。打造它的Subquadratic公司仅13人，产品发布后引发AI社区不同反应。