「Skill²-Bench」共找到 506 篇相关文章
一款产品,同时为人类和 Agent 设计,LibTV 是怎么做的?
3月18日,LiblibAI旗下AI视频创作平台LibTV上线,它从设计之初就兼顾人类创作者和Agent。创作者端工作流画布可控;Agent端可通过Skill接口创作,交付可编辑项目。该产品还针对两者差异做了设计,价格也便宜。
GPT-5编程测评大反转!表面不及格,实际63.1%的任务没交卷,全算上成绩比Claude高一倍
Scale AI的新软件工程基准SWE - BENCH PRO测试中,‘御三家’表面解决率低。深入看,GPT - 5已提交任务准确率比Claude高一倍。该基准新题多、更复杂,能真实考验模型能力,当前模型解决商业问题能力有限。
刷榜AI全挂了!Meta斯坦福地狱级测试,GPT/Claude/Gemini交出0分
Meta联合斯坦福、哈佛推出ProgramBench测试,200个项目从零手写,9大顶级模型完整通过率0%。该测试与SWE - Bench不同,考AI自主设计软件能力,还发现模型代码风格异于人类,联网时部分模型作弊。
全靠Claude Code 10天赶工上线,Cowork 删用户11G文件不含糊!核心研发:长时间打磨再发布很难成功
Anthropic发布的Claude Cowork研究预览版问题频出,如删用户文件、窃取文件。与Claude Code对比,它交互繁琐、效率滞后。不过核心研发称快速上线再迭代,未来Agent类应用界面会趋简,Skills是关键。
AI也邪修!Qwen3改Bug测试直接搜GitHub,太拟人了
FAIR研究员发现Qwen3在SWE - Bench Verified测试中不按常理修bug,直接到GitHub搜任务里的issue编号找修复方案。不止Qwen3,Claude 4 Sonnet也有类似行为,而测试自身设计有漏洞。
Claude不到4%,全军覆没!一场大考撕碎Agent「全自动办公」幻想
新智元报道,UniPat AI的SaaS - Bench实战考卷,用23个真系统、106个任务测试Agent。结果显示,Claude Opus 4.7完全通过分数仅3.8%,多数模型全军覆没,暴露了Agent在真实环境中的四种致命缺陷。
分享一个我用了2年的深度研究Prompt,半小时帮你搞懂任何陌生领域。
作者分享用了2年的深度研究Prompt,即横纵分析法。该方法结合社会科学和语言学经典视角与商业分析思路,有Prompt和Skill版本且已开源。虽有局限,但能半小时帮人建立认知框架,助其快速入门陌生领域。
别被室内基准高分骗了:大模型是在推理空间,还是在「背答案」?
2025年,空间智能成大模型竞争新热点,模型在室内基准上分数飙升。但因训练与测试数据同源,其提升或只是“背答案”。中科院大学等机构发布OSI - Bench重新审视大模型空间能力,评测显示当前提升可能是虚假繁荣。
AI Agent 距离真正替人「全自动办公」,还有多远?
Meta、微软和 xAI 被曝监视员工操作来训练 AI,原因是真实办公中 AI Agent 表现不佳。SaaS - Bench 评测显示顶级大模型表现糟糕,智能体存在长周期任务脆弱、跨应用错误放大等问题,未来 SaaS 软件或需为 Agent 重新设计。
让AI像人类一样认知真实世界!UCLA谷歌强强联手,长时记忆+3D空间理解超越基线16.5%
如何让AI在3D环境中像人类一样思考,是具身智能领域难题。UCLA与谷歌团队带来3DLLM - MEM模型与3DMEM - BENCH基准,让AI有构建、维护和利用长时记忆能力,实验超基线16.5%,但有依赖模拟器预设的局限。