「自动化评估」共找到 1146 篇相关文章
手机操控革命！开源手机AI Agent，自然语言操控Android/iOS！
传统移动设备自动化工具难实现自然语言控制和跨应用交互，开源项目Mobile - Use提供解决方案。它由Minitap AI开发，能通过自然语言指令实现设备UI感知自动化，功能丰富，应用场景广。
无代码产品功能设计不要盲目追求AI自动化｜对话影刀AI Power
量子位智库对话影刀AI Power产品经理该汗，探讨AI自动化产品开发。影刀AI Power定位企业场景，具多功能，能提高业务效率。交流涉及场景适配、差异化路径、功能布局等问题，还分享付费转化等看法。
编程能力开源SOTA，网络安全提升2倍！智谱发布GLM-5.3
智谱发布GLM-5.3，743B参数模型，编程能力达开源SOTA。网络安全能力涌现，基准得分是GLM-5.2两倍多。全部提升来自后训练缩放，还自研Z.ai Code Bench评估，安全评估加固后权重将开源。
跨越技术与法律的壁垒：AI赋能知识产权领域任务全能评测基准IPBench发布
本推文介绍arXiv论文《IPBench: Benchmarking the Knowledge of Large Language Models in Intellectual Property》。论文提出IPBench评估基准，构建含20个任务、10374个双语数据点的基准，评估17个主流模型，揭示现有模型在IP任务中局限。
全国首部AI智能体应用评估标准，现公开征集起草单位和个人
2025年成AI智能体元年，国务院提出目标，市场规模爆发增长。但企业部署面临“效能黑箱”，智合标准中心发起《企业级AI智能体应用效能评估规范》团体标准起草，现公开征集起草单位和个人。
解锁任意步数文生图，港大&Adobe全新Self-E框架学会自我评估
香港大学与Adobe Research联合发布Self - E框架，可从零训练实现任意步数文生图。它改变训练范式，用两条互补训练信号，在GenEval基准表现出色，让文生图训练更灵活且具扩展性。
GitHub 推出 MCP 服务器集成，全面扩展机密扫描功能
GitHub宣布MCP Server全面支持机密扫描功能，将其扩展至AI辅助和代理驱动的开发工作流，可让外部工具和AI工作流访问安全洞察、自动化修复。这反映安全工具正从被动检测转向自动化治理。
北航LiveRepoReflection: 扭转乾坤-仓库级代码反射
本文提出LiveRepoReflection基准，评估多文件仓库代码理解和生成能力，含1888个测试案例。创建RepoReflection - Instruct数据集训练RepoReflectionCoder，评估40多个LLMs，结果显示其能有效测模型反思修复能力。
解决Agent幻觉：HaluMem精准定位记忆系统的“说谎”环节！
近年来，LLM和Agent在记忆管理上存在挑战，现有评估方法无法定位幻觉来源。论文提出HaluMem评估基准，通过三大任务和两个数据集揭示记忆系统幻觉行为，为开发可靠记忆机制提供指导。
ACL'25 | CIGEval：一种基于多模态大模型的可控生图评测智能体
阿里国际AI团队提出CIGEval，这是基于多模态大模型驱动的图像生成评估智能体框架。它集成多功能工具箱，通过任务拆解与工具调度提升评估准确性与可解释性，已在ComfyUI - Copilot上线。