「路由评测」共找到 694 篇相关文章
知识类型视角切入，全面评测图像编辑模型推理能力：所有模型在「程序性推理」方面表现不佳
东南大学等团队提出KRIS - Bench，从知识类型视角对图像编辑模型推理能力评测。它分三大知识范畴、细化多种任务，设四维度评估指标，测10款模型，发现模型程序性推理等能力不足。
当 Agent 尝试接管浏览器，连“我是人类”都证明不了？上海交大开源发布交互评测基准 HLL
随着多模态大模型发展，Web Agent 面临验证码挑战。上海交通大学等团队发布 HLL 评测基准，解耦真实度为三维度，对 8 款前沿模型测试，揭示 Agent 在多步交互微操上的短板。
4 个月 3000 万美金 ARR，做 AI 评测榜单的 LMArena 为何值 17 亿美金
AI评测产品LMArena半年前种子轮获1亿美金，现完成超1.5亿美金A轮融资，估值达17亿美金。其核心产品Chatbot Arena可对比AI模型回答并构建榜单，公布的数据或解答了其估值高的疑问。
首个面向科学任务、真实交互、自动评估的多模态智能体评测环境，ScienceBoard来了
ScienceBoard是首个面向科学任务、真实交互、自动评估的多模态智能体评测环境。它集成多领域科研软件，构建科研任务集合，评估智能体在科学任务上的表现，发现现有模型在科研工作流中远未成熟。
MoE不够看了，腾讯推出MoT：2B具身模型22项评测16项最佳
腾讯混元团队联合Robotics X实验室推出HY - Embodied - 0.5系列基础模型，含MoT - 2B和MoE - 32B两款主力模型。在22项评测中，MoT - 2B获16项最佳，其架构、数据和训练有创新，能应用于机器人控制。
Embodied Arena：业界首个统一具身大脑评测平台重磅发布，30+模型全面对比揭示关键洞察
具身智能火热，研究者常感茫然。Embodied Arena评测平台上线，它全面统一且持续演进，涵盖22+基准测试和30+模型，构建评估体系，揭示关键洞察，为具身模型发展指引方向。
SOTA大模型遇上加密数据评测：Qwen3未破10%，o1也栽了丨上海AI Lab等联合研究
当前推理模型在基准测试中性能卓越，但在密码学领域推理能力待探索。上海AI Lab等推出CipherBank评测，用海量真实隐私场景数据和多类型密码算法挑战SOTA大模型，结果显示模型表现不佳，还分析了模型“犯难”原因。
18个月，中国Token消化狂飙300倍！别乱烧钱了，清华系AI Infra帮你腰斩API成本
中国大模型API服务碎片化、“黑盒”问题严重，成本高。清程极智1月29日发布AI Ping，类似“中国版OpenRouter + Artificial Analysis”，可评测、路由大模型，帮开发者降低成本、提升效率，还能重塑服务市场秩序。
拒绝传统 Router“瞎指挥”，多智能体如何实现智能任务分配？
企业级多智能体系统瓶颈常是负责分发任务的传统 Router 太“傻”，搞不定跨域、解不了冲突、跟不上变化。腾讯云开源 TCAR 智能路由模型，它先推理再选 Agent 集合，经多数据集评测表现出色，还提供完整开源范式。
说一个反常识的真相，Agent如今在真实工作场景的成功率依然很低。
作者有感于AI在真实工作场景评测的稀缺性，以阿里国际站RealReplicaBench评测集为例，介绍电商场景任务，发现多数模型成功率低，其他领域类似，呼吁厂商努力，作者也计划自跑评测更新排名。