「自动化评估」共找到 1146 篇相关文章
算法1年翻倍,芯片2年翻倍?重磅实锤:AI正在自我加速,拦不住了
NBER论文证明AI研发自我加速反馈环强度远超其他科技领域,芯片效率每2年、算法效率每1年翻倍。部分自动化就能引爆反馈环,全行业13%自动化率或软硬件17%自动化率可触发奇点,6年内AI可能实现自我迭代。
自动化评测的九九归一——评测agent
本文提出统一评测Agent架构,实现评测全链路自动化。它能学习标注标准,完成自动标注等工作。还介绍架构、解耦方法、模型优化及训练方案,解决多模态幻觉等问题,提升机审率,节省标注成本。
RPA已死,微软Playwright MCP开启AI自动化革命
文章指出RPA已落后,微软Playwright MCP开启AI自动化革命。对比传统RPA与Agent+Playwright MCP方式差异,介绍Playwright MCP优势,还给出15分钟上手步骤及多个使用案例。
西湖大学科研版NanoBanana开源!科研绘图从此自动化
西湖大学将科研版NanoBanana开源,其AutoFigure框架可自动化生成学术插图且能编辑,论文被ICLR 2026接收。该框架提出理性渲染范式,配套FigureBench基准测试集,表现超越人类预期。
AgentIF-OneDay 发布,评估全场景长时复杂任务
红杉中国 xbench 发布 AgentIF - OneDay 评测体系,用于评估大模型解决复杂任务的能力。该体系从任务复杂度新视角出发,沿 Scaling Context 和 Scaling Domain 推进,构造了三类典型任务进行测评,揭示了主流 Agent 的能力边界。
OpenAI公开4+10条保命指南,专防AI自动化攻击
OpenAI联合创始人兼总裁Greg Brockman在Blog中警告,前沿AI Agent能自主找漏洞并发动网络攻击,AI降低攻击门槛,防御端却未跟上。他分享OpenAI四项安全措施及防御者十项举措,呼吁行业共建安全生态。
告别“一眼定生死”:Agent-as-a-Judge 开启 AI 评估的下半场
过去两年,LLM-as-a-Judge成评估界“黄金标准”,但面对复杂任务力不从心。论文《A Survey on Agent-as-a-Judge》指出,应从单一的大模型裁判进化为具备行动能力的智能体裁判,还阐述了其优势、发展阶段等。
北大、字节、中科院自动化研究所等提出图像并行生成新范式
北大、字节等团队发现多模态模型先思考后作画会降低图像语义保真度,因自回归架构有误差传播问题。为此提出并行多模态扩散框架MMaDA - Parallel,构建ParaBench基准,多项优化后在测试中击败Bagel。
重塑浏览器!微软在Edge加入AI Agent,自动化搜索、预测、整合
今天凌晨微软官网宣布在浏览器Edge中加入Copilot模式,它像多层级混合智能体,能自动执行搜索、整合等操作,有标签筛选等创新功能,可提升效率,还保障隐私安全,已免费开放。
全面评估多模态模型视频OCR能力,Gemini 准确率仅73.7%
MME - VideoOCR团队评估多模态大模型(MLLM)视频OCR能力。构建精细任务体系和高质量数据集,评测18个主流MLLM。即便如Gemini - 2.5 Pro,准确率仅73.7%,暴露出MLLM在视频OCR领域能力局限。