「评测体系」共找到 1162 篇相关文章
AI用3年时光，来了解你！首个AI Clone长期记忆基准
现有AI记忆评测存在数据源单一、忽视变化本质、注入成本高等局限。开源学术社区QuantaAlpha联合高校团队提出CloneMem基准测试，构建合成人生，设计评测任务，实验发现简单方法在检索上更有效，记忆系统应还原信息。
代码榜刷满分，AI科研却撞墙？140道真实研究题撕开「自进化」真相
新工作MLS - Bench覆盖12领域、140个研究任务，评测前沿模型科研能力。虽模型工程执行强，但科学发现能力弱，当前仍难提出有效算法创新。其评测已纳入Kimi K3和Qwen3.8 - Max官方发版表。
从日志学习到风洞验证：构建 GPU 集群的 AI Native 稳定性闭环
文章介绍了面向新引入GPU芯片稳定性验证的AI Native治理体系“算力风洞”。其通过厂商环境自动复刻等手段，将新芯片适配效率提升10倍以上。体系分认知、验证、进化三层，形成完整闭环，推动智算集群稳定性建设升级。
Cursor只排第6！136国用户实测25款AI编码工具，第一名73%胜率，还是个新面孔
Design Arena评测平台用对抗式评测方法，让用户对AI模型生成的设计作品投票，评估其设计美学表现。文章总结了上榜的编码工具，如new.website胜率约73%排第一，还对比了不同类型模型的排名情况。
具身大满贯还全开源！原力灵机DM0.5登顶RoboDojo，且clone且珍惜
原力灵机的DM0.5登顶具身评测RoboDojo，在记忆维度表现突出，还在其他权威评测中成绩优异。它有强泛化能力，在多场景表现佳。其从数据、架构、效率全面升级，且全面开源，赋能具身生态。
同一个模型，换套框架成绩差27%：SWE-bench分数到底谁说了算？
编程Agent评测是笔糊涂账，SWE - bench虽成事实标准，但分数不适合直接横向比较。基元律动等机构发布Claw - SWE - Bench基准，将模型、harness和任务集拆分，通过实验揭示harness对成绩影响大，还解决通用Agent评测问题，推出低成本Lite版。
R-HORIZON：长程推理时代来临，复旦NLP&美团LongCat重磅发布LRMs能力边界探测新范式
复旦大学与美团LongCat Team联合推出R - HORIZON，它是首个系统性评估与增强LRMs长链推理能力的方法与基准。提出Query Composition方法构建评测基准和训练数据，评测发现主流模型长链推理性能断崖式下降，还分析出三大瓶颈，训练后模型性能双重提升。
从业务场景到组织体系，“龙虾” 如何走进企业
“龙虾”火了后，从个人工具走向企业业务场景时问题不同。阿里云“虾友会”传递其进入企业的逻辑，包括解决业务场景接入，经历身份权限、岗位能力、持续运营三重门，回归运行时，最终送进企业工作流。
Anthropic 最新博客：构建 AI Agent 评估体系完整指南
Anthropic 工程团队发布博客《Demystifying evals for AI agents》，揭秘内部对 AI Agent 的评估方法，涵盖评估结构、构建原因、常见 Agent 类型评估技术、评估非确定性处理、构建路线图及与其他方法配合策略等。
中国游戏行业：产业结构、薪酬体系与核心人才需求分析
文章分析中国游戏行业，指出其已成为复杂数字经济体，2024年市场收入稳健增长。发展历经多阶段，AIGC等技术带来变革。商业模式以F2P与内购为主，“研运一体”是关键。行业薪酬有竞争力但工作强度高，版号影响深远。