「自动化评测」共找到 1118 篇相关文章
跨越技术与法律的壁垒：AI赋能知识产权领域任务全能评测基准IPBench发布
本推文介绍arXiv论文《IPBench: Benchmarking the Knowledge of Large Language Models in Intellectual Property》。论文提出IPBench评估基准，构建含20个任务、10374个双语数据点的基准，评估17个主流模型，揭示现有模型在IP任务中局限。
ACL 2025 Oral | 你的模型评测搭子上线：Evaluation Agent懂你更懂AI
上海人工智能实验室与新加坡南洋理工大学合作研发 Evaluation Agent，它能按需评估视觉生成模型，有可定制、高效率等优势。框架分提案和执行两阶段，评估结果佳，未来将拓展功能。
大语言模型离“数学证明高手”还有多远？斯坦福、伯克利、MIT 团队提出 IneqMath 评测标准
现在很多大语言模型常给出看似正确的结论，但推理过程却有问题。斯坦福、伯克利和MIT团队提出新思路，构建IneqMath数据集及‘AI数学裁判系统’，研究发现很多模型推理不严谨，还给出两个提升准确率的办法。
GPT-5、Grok 4、o3 Pro都零分，史上最难AI评测基准换它了
AAI机构提出新基准FormulaOne，让GPT - 5、o3 Pro等前沿大模型集体得零分。该基准含220个图结构动态规划问题，分三类难度。测试结果显示，模型在深层及最深层难度表现差，引发关注。
Trae-Agent 刚刚开源，Windows-MCP 操作你的电脑，Chrome MCP 让AI自动化完成浏览器任务。
Trae - Agent 开源，可完成软件工程任务。Windows - MCP 能让 AI 操作 Windows 系统，Chrome MCP Server 使 Chrome 成 AI 助理。还介绍了 Gemini Cli、Claude 等工具及特点。
一手评测Seedance 1.0 pro，字节首次登顶视频大模型竞技场的大杀器来了。
作者在火山引擎发布会现场，认为视频生成模型Seedance 1.0 pro最酷。从多镜头组合、运动质量、情绪、运镜、物理动态效果、风格化六个维度测评，该模型各方面表现出色，无明显短板，已开放给企业用户，今日在豆包App全量上线。
13K star！这个项目太顶了，自动化 API，后台作业，工作流，UI开发，低代码一网打尽！
日常开发构建和管理内部工具费时费力，第三方方案费用高。开源项目Windmill是开发者福音，能将脚本自动转换成工作流程和UI，适用多场景，有自动UI生成等特色，安装使用简单。
HaluMem：让AI记忆系统的“幻觉”现形——首个面向记忆系统的操作级幻觉评测基准
过去一年，AI Agent的‘记忆能力’成热门话题，但AI记忆存在幻觉问题。为此发布操作级幻觉评估基准HaluMem，它能精准定位幻觉来源，评估主流记忆系统，为构建可靠记忆系统提供方向。
字节Seedream 4.0将全量开放！抢先评测来了，我们摸索出AI生图20种「邪修」玩法
近日，字节跳动内测豆包・图像创作模型 Seedream 4.0，支持多模态生图，核心能力显著提升。它将全量上线并开放给企业客户。实测显示其多模态融合出色，还与谷歌 Nano Banana 对比，各有优势。
5700问答对全面评估拷问AI空间感！最新空间智能评测基准来了丨浙大&成电&港中文
当前视觉语言大模型空间信息学习片段化，缺乏多维度空间推理能力。浙大、成电和港中文团队提出ViewSpatial - Bench基准体系，评估主流模型，揭示其缺陷，并开发MVSM优化跨视角空间理解。