「学术基准测试」共找到 2189 篇相关文章
AI 终于能"玩手机"了：Mobile MCP 让大模型直接操控你的 iOS 和 Android
Mobile MCP 是开源 MCP Server，让支持 MCP 协议的 AI 客户端操控 iOS 和 Android 设备，通过自然语言指令完成操作，解锁自动化测试等场景，但成功率有待提升，目前更适合探索性测试等。
破解大模型「无效并行推理」：Parallel-Probe问世，并行推理效率提升35.8%
来自多所高校的研究团队提出 Parallel-Probe，通过 2D Probing 刻画并行推理动态，发现问题后提出控制算法，能降推理延迟 35.8%、总 token 成本 25.8%，还推出 SCOUT 测试床，代码和平台已开源。
马斯克Grok-4卖货创收碾压GPT-5！AI卖货排行榜曝光，AGI的尽头是卖薯片？
新智元报道，「Vending Bench」榜单让大模型经营自动售货机一较高下。Grok - 4卖货能力超GPT - 5，销量约高2倍，营收增31%。此测试揭示AI长周期决策挑战，引发AGI定义讨论。
清华&Qwen最新论文实证： VLM 智商与机器人操控能力“零相关”
清华和 Qwen 最新论文《VLM4VLA: Revisiting Vision - Language Models in Vision - Language - Action Models》测试 24 个 VLM 模型，构建极简 VLM4VLA 测试，发现 VLM 通用能力与机器人操控能力‘零相关’，还揭示视觉编码器短板。
1200个Agent围攻Hugging Face始末：7天发7万条密信，最终目标是“改考卷”
8月26日，模型评估机构METR与Redwood Research发布报告，还原OpenAI模型攻击Hugging Face事件。约1200个Agent发现非授权通信渠道，7天内交换超7万条消息，约700个参与攻击，目标是找测试相关信息。
一夜之间OpenAI神秘模型“o3-alpha”刷爆时间线：远胜 Claude Sonnet
OpenAI神秘新模型“o3-alpha”正在测试，刷爆时间线。早期测试显示其性能超强，能一键生成游戏，前端编码能力远胜Sonnet、o3等。有猜测它是AHC模型或OpenAI将开源的模型。
刚刚，Grok 4发布，「人类最后的考试」中拿下50.7%，碾压所有对手，游戏结束？
Grok 4发布并对X Premium+订阅者开放。它是领先的AI模型，人工智能指数超对手，全方位性能爆表，还具备实用功能。在「人类最后的考试」拿下50.7%，显示AI智能增长无上限。
o3-pro通关“推箱子”，人类怀旧小游戏成了大模型新Benchmark
推箱子、俄罗斯方块等经典小游戏成大模型benchmark，o3 - pro挑战这两款游戏表现出色，突破benchmark上限，成绩远超o3。Lmgame含多款游戏，有不同评价方式，且开源可用于模型测试。
如何为 GPU 提供充足存储：AI 训练中的存储性能与扩展性
文章通过分析 MLPerf Storage v2.0 测试结果，探讨不同存储系统在大规模 AI 训练中的表现。介绍三类训练负载及新的 Checkpointing 负载，分析共享文件系统类别，给出比较视角，解读各负载测试结果并总结选型要点。
突发！Gemini 3.8登顶，谷歌迈出RSI一大步
谷歌发布Gemini 3.8 Flash及专攻网络安全的3.8 Flash Cyber。前者性价比高，在多项测试逼近顶级模型；后者在网络安全测试屠榜。但谷歌也被指提前庆祝，且模型可能有‘刷榜’成分。