「评测维度」共找到 836 篇相关文章
杜克大学、Zoom推出LiveMCP‑101：GPT‑5表现最佳但未破60%，闭源模型Token效率对数规律引关注
杜克大学与Zoom研究者推出LiveMCP - 101，这是针对真实动态环境的MCP - enabled Agent评测基准。含101个任务，实验显示先进模型成功率低于60%，研究为提升Agent能力提供改进方向。
多模态模型挑战北京杭州地铁图！o3成绩显著，但跟人类有差距
近年来，多模态大模型在多种场景取得进展，但能否‘看懂图’存疑。西湖大学等团队提出评测基准ReasonMap，评估模型在地铁图理解中的能力，发现主流模型有瓶颈，闭源模型虽优但仍逊于人类。
想入局VLA却不知从何下手？NTU&中大开源「终极菜谱」：从基座到频域建模，每一步都有实验支撑
MMLab@NTU联合中山大学的研究推出VLANeXt，从12个关键维度剖析VLA设计空间，每步有实验支撑。它在LIBERO及LIBERO - plus上超越SOTA方法，遇扰动成功率跃升10%，适合不同水平从业者。
DragonMemory：16倍语义压缩，为RAG应用瘦身
介绍GitHub项目DragonMemory，它针对RAG应用上下文压缩，核心是Dragon v7模型，从序列维度压缩，压缩比达16倍。本地测试效果好，有图形界面，支持多格式文档，开源但非成熟商业产品。
具身智能“高考”难疯了！人类100分，最强模型12.8
原推出RoboTwin系列基准的团队带来RoboDojo，这是统一的仿真+真实世界机器人操作评测基准。它设42个仿真任务、18个真实任务，让30个主流策略竞技，结果显示机器人距通用操作差距大。
兼顾效率、成本与能力，百灵开源旗舰推理模型 Ring-2.6-1T
5月15日，蚂蚁百灵开源旗舰级推理模型Ring-2.6-1T，权重文件上线Hugging Face、ModelScope平台。该模型有万亿参数，‘按需思考’，在代理执行、推理机制、训练范式三方面升级，评测表现出色。
DeepSeek急招Agent方向！一口气放17个岗位，重度Vibe Coding用户优先
DeepSeek一口气开放17个招聘岗位，核心聚焦Agent方向，覆盖算法研究、数据评测、基础设施等全链条。岗位要求显示其Agent布局从研究落地到能力建设，还追求数据闭环与技术栈全面布局。
交大&华为联手：AI智能体进化的五种关键能力
随着大型语言模型兴起，基于LLM的聊天机器人能完成多样语言任务。上海交通大学和华为团队提出分析框架，探讨LLM聊天机器人向AI智能体进化的五个关键维度、改进方法及未来发展方向。
AI如何看懂足球？上海交大团队打造Multi-Agent系统，全面解析“美丽足球”！
现有足球AI研究存在不足，上海交大团队打造Multi - Agent系统。他们构建SoccerWiki知识库、SoccerBench评测基准和SoccerAgent多智能体系统，该系统多工具协作，实验中碾压GPT - 4，数据和代码将开源。
从答题到做实验：SciAgentGym让大模型进入科学工作流
复旦大学NLP实验室提出SciAgentGym，为科学智能体搭建工作流环境，还设计了评测集SciAgentBench。实验显示模型接入工具能提升成功率，但长流程任务性能下降。论文还提出SciForge构建训练数据，提升了模型表现。