「评测指标」共找到 874 篇相关文章
92% 工程师都在用 AI 后,Uber 开始给 AI “限额”了
Uber的‘零增长技术栈’解耦容量与业务需求,优化Go运行时性能。还将生成式AI集成开发,92%工程师在用,但成本压力大。为此,Uber限额每位开发者,审查代码效果,完善评估指标。
别指望你的组织能变得 AI Native
一家公司买企业级 AI 授权全员铺开,虽 88% 员工采用,但交付速度未变,仅 10% 的人烧掉 90% 的 Token。文章指出企业 AI 采用率指标荒诞,分析企业 AI 应用现状,还给出落地推进建议。
OpenClaw长期记忆:优秀管线与玄学效果
文章拆解 OpenClaw 记忆系统全链路,指出其虽设计理念好,但记忆效果不稳定。介绍 RDSClaw 记忆插件如何补强,该插件与原生系统协作,提升记忆稳定性,在 LoCoMo10 评测中成绩显著。
字节发布全球首个预测未来基准FutureX,Grok-4 拿下冠军
字节跳动发布全球首个实时未来预测基准测试FutureX,杜绝模型作弊。在25个模型评测中,Grok - 4夺冠。它从多网站构建问题,分四级难度。人类专家在部分等级仍领先AI 。
Lumina-DiMOO:多模态扩散语言模型重塑图像生成与理解
上海人工智能实验室推出多模态扩散语言模型 Lumina - DiMOO,它基于离散扩散建模,打破多模态任务壁垒。相比传统自回归架构模型,它解决了生成慢、质量受限等问题,在多项评测中夺魁。
大涨240%,Doc-Researcher确立多模态文档深度研究新范式
在ChatGPT引领的AI革命中,大语言模型面对专业复杂文档常“束手无策”。Doc-Researcher提出三位一体解决方案,构建M4DocBench评测,性能远超现有方案,还适用于多产业场景。
你的 AI 助理一闭嘴就在「发呆」?上交大 ProAct:把 Agent 的空闲时间变成生产力
上海交通大学 APEX 实验室提出 ProAct 架构,能把对话空闲时间转化为主动准备机会。它有预测、筛选、交付三级流水线,经 ProActEval 评测效果佳,证明算力用对地方更重要,让 Agent 能提前为用户准备。
杜克大学、Zoom推出LiveMCP‑101:GPT‑5表现最佳但未破60%,闭源模型Token效率对数规律引关注
杜克大学与Zoom研究者推出LiveMCP - 101,这是针对真实动态环境的MCP - enabled Agent评测基准。含101个任务,实验显示先进模型成功率低于60%,研究为提升Agent能力提供改进方向。
多模态模型挑战北京杭州地铁图!o3成绩显著,但跟人类有差距
近年来,多模态大模型在多种场景取得进展,但能否‘看懂图’存疑。西湖大学等团队提出评测基准ReasonMap,评估模型在地铁图理解中的能力,发现主流模型有瓶颈,闭源模型虽优但仍逊于人类。
让大模型指哪打哪的Multi-Agent路由新范式
随着MCP生态兴起,一个Assistant背后可能挂数百工具/子Agent,传统检索方式有成本高、埋没工具等问题。作者提出Tool-to-Agent Retrieval新范式,实验显示指标全面提升,证明工具细节能补足语义。