「评测指标」共找到 914 篇相关文章
OpenAI挖到最新菲尔兹奖得主，字节刚出炉的科学家计划在瞄准谁？
今年菲尔兹奖得主之一Jacob Tsimerman将入职OpenAI安全部门。当下顶尖科学家流向头部大模型公司，AI与前沿科学融合成趋势。字节发布Seed STEM科学家计划。大模型下半场比拼基础研究，构建评测基准很重要。
关于Nsight Compute中Compute Workload Analysis反映的Tensor Pipe Uti的理解
文章分析Nsight Compute中Compute Workload Analysis反映的Tensor Pipe Uti异常现象。通过实验和推算，发现ncu对L20 GPU上特定指令用错误执行延迟算指标，导致异常，还给出GEMM Kernel性能分析建议。
让视觉语言模型像o3一样动手搜索、写代码！Visual ARFT实现多模态智能体能力
上海交大等团队推出多模态智能体训练方法 Visual-ARFT，让视觉语言模型有「工具智能体」能力，还开源项目。它能自动调用工具、拆解任务，团队构建 MAT-Bench 评测，其在多任务超 GPT-4o。
三维空间太难懂？RoboTracer让机器人理解复杂空间指令，推理3D空间轨迹，开放世界也能精确行动
家庭环境复杂，让机器人理解空间指令难，现有VLM多聚焦2D推理。北航、北大等联合推出多模态大模型RoboTracer，能精准生成3D轨迹，在多项评测中领先，还能直接集成到机器人，完成复杂任务。
Coding Agent 自主解题很强，但用户改一行代码就"翻车"？自所团队提出 SWE-Touch 揭示共享工作空间下的能力缺口
当前基于大模型的Coding Agent是热门研究方向，现有评测多假设其独占代码仓库。中科院自动化所团队构建SWE - Touch框架，对9个前沿模型测试，发现用户干预下模型性能下降、排名洗牌。
长程任务飙升98%，斯坦福Skill原生LLM来了
普林斯顿、CMU、斯坦福、牛津等提出Skill-Native大模型，提出Skill Entropy度量技能切换难度，搭建Skill²-Bench评测，还将熵用作训练信号提出Skill-Entropy RL，提升多模型准确率，且技能熵可复用。
真可用！美团数字人模型开源，MV、电商等统统拿下
美团开源数字人视频生成框架 LongCat - Video - Avatar 1.5 版本，换音频编码器、加速推理，支持多任务与多场景。经770人评测，它在多维度领先对手，各方面表现均衡，效率与质量兼得。
AI提效20%，我们程序员加班却越来越狠：老板量生产力的尺子，歪了？
文章指出 AI 虽提升编码效率，但整体提效有限，企业衡量开发者生产力的指标易走偏。不同行业对 AI 应用态度不同，企业需合理管理 AI 成本，未来人的价值体现在复杂工作中。
1美元Token撬动4800美元收益！AI挑战百万美元级基准，最赚钱的Agent出现了
Humanlaya Data Lab等机构构建$OneMillion - Bench评测基准，用经济价值衡量模型。它含400道高难题目，覆盖多领域。目前最强模型能产出约50万美元价值，但离可交付专业任务还有距离。
知识增强LLM与搜索引擎用户的感知信息价值差异比较研究
研究选取文心一言与百度搜索引擎，探究不同任务复杂性、信息获取场景下，用户使用两种工具后的感知信息价值差异。发现两者在部分指标有显著差异，还给出两类工具优化建议。