「自动化评估工具」共找到 2864 篇相关文章
Claude Code凭什么牛？大模型团队天天用自家产品，发现bug直接就改了
Claude Code虽有争议，但很成功，4个月用户达11.5万。Claude Code负责人透露构建细节，如产品理念、评估标准、反馈机制等，还阐述编程领域变化、模型与工具共同进化等内容。
Shopify分享了他们做Agent的万字踩坑经验
Shopify分享构建生产级AI助手Sidekick的万字经验。构建中遇工具拓展难题，用JIT指令解决；评估是大挑战，建立严谨体系，虽有提升但效果仍有波动，模型还会钻空子，最后强调单Agent系统也强大。
首个地球科学智能体Earth-Agent来了，解锁地球观测数据分析新范式
上海人工智能实验室与中山大学联合研发的 Earth - Agent 解决了多模态大语言模型用于地球科学研究的痛点。它将领域知识工具封装化，利用 LLM 智能规划调度。经 Earth - Bench 评估，其在多方面表现出色，未来发展前景广阔。
Agent 都这么厉害了，「AI 员工」为什么今天还没有真正出现？
AI员工呼声高却未落地，瓶颈可从其源起探寻。早期自动化工具非真正数字员工，大模型带来新可能，但存在时效性、场景定义、意图澄清、知识更新、博弈能力等问题，未来建议局部替代，先以实习生角色上岗。
提示词注入攻击的检测和数据集介绍
提示词注入攻击是攻击者操纵AI系统的技术，OWASP将其列为2025年大模型应用风险首位。Meta发布测试数据集，还有多个工具和数据集可用于评估。防护可用AI防火墙，Meta开源小模型。还提到安全性与实用性权衡。
奥特曼爆料：GPT-5重构彻底一切！一人顶五个团队
GPT-5的发布或是一场技术变革。奥特曼在对谈中给出未来清单，谈到年轻人学习方向、创业思路等。他认为GPT-5是大飞跃，年轻人要掌握AI工具，还提出评估大模型智力新指标等。
4万星开源项目被指造假！MemGPT作者开撕Mem0：为营销随便造数据，净搞没有意义的测试！
高人气开源智能体记忆项目Mem0在论文中称在LOCOMO上打败所有人，MemGPT联合创始人公开指控其测试无意义、数据造假。二者都为解决大模型长期记忆问题，Letta认为能力比工具重要，并给出评估智能体记忆能力的方法。
谢赛宁团队新基准让LLM集体自闭，DeepSeek R1、Gemini 2.5 Pro都是零分
纽约大学等8家机构研究者提出LiveCodeBench Pro竞技编程基准测试，评估了Gemini 2.5 Pro等前沿大模型。发现当前模型有显著不足，在无外部工具时，高难度题通过率为0，LLM与人类大师级水平差距明显。
人类最后考试登上Nature：全球50个国家近千名顶尖学者打造的AI测试集
人类最后的考试（HLE）登上Nature，这一测试集由全球50个国家近千名顶尖学者打造，含2500道高难度试题。现有的人工智能评估工具已跟不上技术演进，HLE能测出AI极限，让顶尖机器暴露短板。
浙大&港理工等提出InfiGUI-R1：利用强化学习，让GUI智能体学会规划任务、反思错误
多模态大模型驱动的GUI智能体有潜力，但现有智能体面对复杂任务力不从心。浙大等机构提出InfiGUI-R1及Actor2Reasoner框架，通过两阶段训练提升智能体能力，InfiGUI-R1-3B在多基准测试中性能卓越，为GUI自动化工具开辟新道路。