「基准评测」共找到 1370 篇相关文章
谷歌开源移动端AI自动化测试神器
本文介绍谷歌最新开源的移动端AI自动化测试工具ARTEMIS，它可将自然语言指令转化为Android自动化操作，支持跨App测试、多模态定位，在AndroidWorld基准评测中取得99%+任务完成率，提供多场景使用方式，可一键快速上手。
GPT-5.2 发布：做表格、写 PPT、敲代码 | 打工人的生产力利器
GPT - 5.2发布，在GDPval评测等众多基准测试中刷新行业水平。GPT - 5.2 Thinking适合真实场景与专业工作，在知识型任务、编码、长上下文处理、视觉理解、工具调用等方面表现出色，部分功能需付费使用。
都说记忆是Agent标配，但MemSyco发现漏算了一件事
厦门大学与吉林大学的最新研究指出，随着大模型Agent具备长期记忆，虽成为“长期协作者”，但也出现Memory-Induced Sycophancy问题。为此提出MemSyco - Bench评测基准，经实验得出多项发现，指出Agent Memory关键瓶颈转变。
8B 端侧写作智能体 AgentCPM-Report 开源，DeepResearch 终于本地化
1月20日，8B端侧写作智能体AgentCPM - Report开源。它以端侧模型为核心，实现本地化部署与SOTA性能双重突破，亮点在于极致效能、本地安全保障，在多评测基准表现出色，部署便捷，两大创新支撑其优秀性能。
刚刚，智谱开源了他们的最强多模态模型，GLM-4.5v。
智谱接连开源GLM - 4.5和GLM - 4.5V，后者为多模态模型，总参数106B，在42个评测基准中41个达到SOTA。经测试，它视觉推理强、速度快，还有视频理解等功能，API定价良心，体现持续开放精神。
推理正确率下降65.5%！斯坦福、MIT等用「不等式」拷问AI逻辑极限
大语言模型在数学证明常现推理漏洞，斯坦福等高校团队提出IneqMath基准评估其严谨性。用不等式证明题切入，拆解为子任务，构建评测体系，用LLM - as - Judge审查。结果显示模型推理正确率低，存在结构性缺陷。
ICML 2025 | 无需训练，即时对齐大模型偏好
上海人工智能实验室提出TPO方案，可让大模型在推理时快速对齐人类偏好，无需更新模型权重。TPO类似文本形式的梯度下降，在多个基准数据集评测中表现出色，还提供“宽深结合”推理拓展策略。
Fable5仅做对3.5%！大模型会看图，但还没有主动视觉
本文介绍了专门测量「主动观察」能力的视觉推理基准 ActiveVision，评测显示无外部工具时，大模型与人类准确率有近 9 倍差距，用工具后虽提升但仍远不如人类，还说明了其出题与避免取巧的方式。
准确率腰斩！大模型视觉能力一出日常生活就「失灵」
EgoCross项目团队聚焦跨域第一视角视频问答评测，揭示现有MLLM在多场景泛化瓶颈。团队提出跨域第一视角视频问答基准EgoCross，经测试揭示模型短板，验证改进方法潜力，研究入选AAAI 2026且数据集等已开源。
当200位具身从业者被拉进同一个屋子
量子位等联合发起沙龙，近200位具身从业者探讨具身智能从实验室走进物理世界的问题。乐聚工程师指出具身数据瓶颈，蚂蚁灵波郑可成介绍模型，上海交大李永露分享评测基准，圆桌对话探讨数据挑战与破局路径。