「评测系统」共找到 2318 篇相关文章
ICML2025 | 揭示MLLM的图文联动推理能力
当前多模态大语言模型（MLLMs）在图文深度融合推理能力上面临挑战，现有评测基准无法真正检验该能力。EMMA基准应运而生，它从四大领域精选题目，采用双重过滤机制和细粒度标注体系，评测发现MLLMs存在多模态推理危机。
AI开始研究Physical AI：FSD级团队亮出首版模型Simate-beta，空降RoboDojo
本文介绍成立仅三个月的Simate公司，核心团队曾打造对标特斯拉FSD的智驾系统，现已推出首版通用物理快系统Simate-beta，登顶RoboDojo，采用AI-native自动化体系研发Physical AI，已开启AutoResearch平台内测，完成多轮数亿元融资。
AI 编码 3.0：人机协作，正在走向多 Agent 协作系统化
文章指出AI编码正从2.0走向3.0，2.0解决生成问题，3.0则是执行系统。当Agent进入软件交付流程，协作需从经验驱动转向模型驱动，Kanban和Harness等工具也有了新角色，系统更强调验证和控制。
十年老技术开发的 AI Agent 探索之路
本文是腾讯程序员探索 AI Agent 开发的经验分享。他从手动管理多终端的困境出发，介绍了突破并发上限、以代码优先解决 AI 需求、避免 Vibe Coding 翻车等内容，还阐述了 24h 打工人系统构建及 Agent 自举，最后探讨行业协议和 Goal-Driven 模式。
构建会思考的测试Agent：从自动化到自主智能的演进
文章介绍面向企业级软件测试的质量数字人系统，结合大语言模型等实现从传统到自主智能测试跨越。分析专有云测试困境，指出通用AI Agent平台局限，阐述系统设计、能力及架构，展示应用成果并展望扩展场景与未来计划。
同一个模型，换套框架成绩差27%：SWE-bench分数到底谁说了算？
编程Agent评测是笔糊涂账，SWE - bench虽成事实标准，但分数不适合直接横向比较。基元律动等机构发布Claw - SWE - Bench基准，将模型、harness和任务集拆分，通过实验揭示harness对成绩影响大，还解决通用Agent评测问题，推出低成本Lite版。
英伟达护城河又宽了！低调收购开源算力调度王牌工具，全球过半顶级超算在用，Thinking Machines也离不开它
英伟达低调收购SchedMD，其为Slurm系统核心开发商，该系统被全球超半数TOP500超级计算机等使用。收购整合成本低、战略价值高，英伟达承诺保持Slurm开源，但相关项目开发受关注。此外，英伟达还推出Nemotron 3系列开源模型。
换题还是第一！DM0.5横扫RoboColiseum四榜
本文报道原力灵机DM0.5在智元机器人发起的RoboColiseum具身模型评测中拿下四个单项第一，这已是该模型连续拿下六套不同类型公开评测的榜首，攻破了传统具身模型换题掉分的痛点，目前已开源落地产业场景。
R-HORIZON：长程推理时代来临，复旦NLP&美团LongCat重磅发布LRMs能力边界探测新范式
复旦大学与美团LongCat Team联合推出R - HORIZON，它是首个系统性评估与增强LRMs长链推理能力的方法与基准。提出Query Composition方法构建评测基准和训练数据，评测发现主流模型长链推理性能断崖式下降，还分析出三大瓶颈，训练后模型性能双重提升。
智能PPT生成系统
MultiAgentPPT是基于A2A + MCP + ADK的多智能体系统，能流式并发生成高质量PPT。它通过多智能体协作，从大纲生成到内容汇总，提高效率与准确性，还介绍了使用界面、项目结构、快速开始步骤等。