「MMMC评测集」共找到 1084 篇相关文章
前 DeepMind 研究员反思：评测，而非算力或数据，才是下一阶段的瓶颈
前 Google DeepMind 高级研究员 Lun Wang 在技术长文中指出，当前主流评测体系滞后，静态基准会“安静失效”。作者主张引入序参量，呼吁构建自演进评测，还为一线工程师提供了研发建议。
李飞飞的World Labs联手光轮智能，具身智能进入评测驱动时代！
李飞飞旗下World Labs与光轮智能联手，瞄准具身智能「规模化评测」问题。World Labs的Marble是生产力工具，而光轮智能有自研仿真技术体系，双方合作让规模化评测成为可能，具身智能迈入评测驱动时代。
AI点外卖哪家强，美团LongCat团队做了个全面评测
美团LongCat团队发布贴近生活场景的大模型智能体评测基准VitaBench，以三大高频生活场景为载体，构建含66个工具的评测环境。评测显示现有智能体与应用需求差距大，该基准已全面开源。
SnapMoGen：44 小时动作数据 + 12 万文本注释，文本驱动动作生成数据集
近年来文本驱动动作生成有进展，但受限于数据集质量。Snap团队提出SnapMoGen数据集和MoMask++模型。前者有2万条动作片段和12.2万条文本描述，后者建模更有效，还结合LLM提升适用性，但二者都有局限。
大模型能否为不同硬件平台生成高性能内核？南大、浙大提出跨平台内核生成评测框架MultiKernelBench
深度学习计算依赖底层内核，当前多由开发者手工编写。南大、浙大推出开源评测框架MultiKernelBench，打破现有评测基准局限，构建模块化评测体系，多模型实测，还指出LLM短板并明确未来方向。
流式数据集：效率提升 100 倍！
现在只需一行代码，就能通过 `load_dataset('dataset', streaming=True)` 以流式方式加载数据集，无需下载。Hugging Face 优化后端，提升流式数据集速度与效率，减少请求、提升解析速度，还优化启动和流式加载阶段。
RoboChallenge发布年度报告：评测标尺够权威吗？
当下具身智能行业存在缺乏真实场景验证、评测标准模糊等问题。2025年原力灵机与Hugging Face推出RoboChallenge评测平台，2026年1月更新榜单。AI科技评论从技术和核心设计角度对其进行深度拆解。
基于阿里云 AgentLoop 的 DeepSeek Harness 评测实践
本文分享基于阿里云 AgentLoop 平台的 DeepSeek Harness 评测实践。介绍了 DeepSeek Harness 工程架构，阐述 AgentLoop 平台接入方式及价值，还详述评估器设计思路、展示评测结果，最后总结方法论并展望后续工作。
提示词注入攻击的检测和数据集介绍
提示词注入攻击是攻击者操纵AI系统的技术，OWASP将其列为2025年大模型应用风险首位。Meta发布测试数据集，还有多个工具和数据集可用于评估。防护可用AI防火墙，Meta开源小模型。还提到安全性与实用性权衡。
一篇讲透Agent自进化飞轮怎么搭：评测→记忆→落地→控制
文章指出多数团队评测、记忆、Self - Improve 拆分做，飞轮难转，原因是环节衔接断链。基于行业研究及实践，提炼评测→记忆→落地→控制四齿飞轮方法论，阐述各环节核心矛盾、建设要点、避坑指南及咬合形成飞轮的方法。