「FutureX 动态评测基准」共找到 975 篇相关文章
多模态RAG哪家强？9 个 Embedding、4 类 MLLMs、4 大框架实景比拼
现有文档 RAG 评测存在不足，华南理工和华科推出 DOUBLE - BENCH 进行多模态 RAG 实战评测，结果显示检索是瓶颈，模型爱胡说。快手开源 Keye - VL - 1.5 - 8B，PaperAgent 有实操指南。
OpenClaw大考！上海AI Lab InternLM团队WildClawBench 60题，把「龙虾」AI打回原形
上海人工智能实验室InternLM团队推出WildClawBench，含60道高难度任务，在真实OpenClaw环境端到端评测AI Agent。评测涵盖多类别任务，已测14个模型，国产模型表现亮眼，项目开源可复现。
CVPR 2026 Highlight｜让家电「在仿真中运转起来」，北大正式发布RealAppliance！
北京大学团队提出 RealAppliance 数据集与 RealAppliance - Bench 评测基准。前者收录 100 个精细家电资产，与真实产品系统多层面对齐；后者围绕五项任务评估模型家电操作规划能力，实验显示主流模型仍面临挑战。
AI Infra进阶：如何让大模型输出确定的结果
文章探讨大模型输出确定性结果的问题。指推理引擎底层动态组批与算子调度策略，因浮点加法顺序变化使结果波动。还分析GEMM、RMSNorm等算子影响，给出vLLM实现Batch Invariance的方法。
GPT-6发布，OpenAI说AGI时代来了
北京时间9月4日凌晨，OpenAI发布GPT - 6 Astra，虽发布过程狼狈，但该模型在多项评测中表现出色，如数学评测、电脑操控等，但编程类任务未全面领先，且网络安全方面部分功能被限制。
长篇动画上色稳如老狗！全新开源LongAnimation
动画上色是制作长篇动画时“烧脑”又“烧钱”的环节，现有AI主流方法多为局部处理，易导致色彩漂移、风格不统一。中国科学技术大学团队提出动态全局 - 局部范式，构建LongAnimation框架，可确保长动画色彩一致。
从组件到系统，Agent 的 Evaluation 怎么做？
Agentic AI 兴起使 Agent Evaluation 成热点。评估 Agent 与 LLM 有本质区别，Agent Evaluation 要考察系统在动态环境实现目标的综合表现，传统 LLM 评估方法无法沿用。业界涌现 GAIA 等相关工作，评估范式也在不断演进。
开源对机器人的价值，远超大模型时代的想象丨唐文斌深度对谈抱抱脸创始人
Dexmal联合创始人唐文斌与Hugging Face联合创始人Thomas Wolf指出当前机器人研究痛点，联合推出开放、统一、可复现的真实世界机器人评测平台RoboChallenge.ai，探讨开源对机器人的价值、评测平台搭建等问题。
Agentic-KGR：通过多智能体强化学习实现知识图谱的协同演化
文章指出静态知识库有覆盖缺失、时效滞后、建用分离问题。介绍 Agentic - KGR 创新点，如动态 schema 扩展等。实验显示其在图谱抽取和下游 QA 任务有提升，还呈现训练动态和图谱质量可视化结果。
复旦等推出「第一人称视听基准」，补齐多模态模型「听觉拼图」
多模态大模型在真实世界会“失聪”，现有第一人称视频问答/理解基准长期偏“视觉中心”。复旦等团队推出首个系统评测第一人称声音理解能力的基准EgoSound，能让模型听懂世界，评测显示当前模型与人类差距大。