「学术基准测试」共找到 2191 篇相关文章
别只盯着李飞飞！AI的「3D数据底座」已被这家中国公司悄悄建好
群核科技构建具身智能时代的「3D版ImageNet」，其SpatialVerse平台为机器人提供三维数据与仿真环境。借助新技术发布全球首个3D语义数据集InteriorGS，还与多机构合作，成果获学术和产业认可。
AI“压力面”，DeepSeek性能暴跌近30% | 清华&上海AI Lab
上海人工智能实验室等团队设计REST框架，在一个prompt里抛多个问题模拟多任务推理场景。测试发现即便顶级模型如DeepSeek - R1在“高压”下准确率也骤降，该框架能揭示模型差异，为评测提供新范式。
AI们数不清六根手指，这事没那么简单。
作者测试发现Grok4、OpenAI o3等多模态模型都将六指图数成五指，仅Claude 4偶尔答对。研究揭示大模型看图片用记忆而非视觉，易受刻板印象影响，在工业等场景或引发严重后果。
The Btch：838 | 苹果加强生成式 AI 布局
苹果更新 Apple Foundation Models（AFM）系列，含设备端和服务器端版本，还发布 Foundation Models 框架。AFM 模型架构特别，训练有优化，测试表现有差异。此前苹果论文引争议，此次或是其重启 AI 战略之举。
大模型玩不好数独？！Transformer作者初创公司公布排行榜：o3 Mini High“变异数独”正确率仅2.9%
Transformer作者初创公司Sakana AI公布AI解决数独能力排行榜，用全新基准Sudoku - Bench考验大模型创造性推理能力。结果显示大模型总体正确率仅15%，9×9数独中高性能模型o3 Mini High正确率2.9%。
DeepSeek们越来越聪明，却也越来越不听话了。
论文《When Thinking Fails: The Pitfalls of Reasoning for Instruction - Following in LLMs》用实验验证，模型推理能力变强时，提示词遵循能力变差。研究团队对15个模型测试，发现用CoT推理后执行准确率下降，还提出4种提升指令遵循效果的方案。
The Batch：820 | Qwen3 向 DeepSeek-R1 发起挑战
阿里巴巴发布八个大型语言模型权重，含两个 MoE 架构和六个稠密模型。预训练数据达 36 万亿 token，支持 119 种语言及方言。测试中 Qwen3 家族表现出色，或终结 DeepSeek - R1 霸主地位，设计用于智能体系统。
终于突破限制啦，11.2k Star LiveContainer，抓紧试一下！！！！
LiveContainer官方定义是app launcher，能将多个IPA以访客App形式放进运行环境加载，可在现有iOS规则里降低测试摩擦，获11.2k Star。但它并非虚拟机或强隔离沙箱，使用有诸多限制。
OpenAI首款芯片问世：用AI设计，9个月流片
本周三，OpenAI 与博通合作推出首款芯片 Jalapeño，用于人工智能推理负载，由博通制造。它用 AI 设计，9 个月流片，性能未公布但早期测试显示每瓦性能优，目标 2026 年底前初步部署。
首个时空时序推理框架：让大模型真正读懂时空数据 | ACL'26
STReasoner是首个结合时间序列、空间结构和自然语言的推理模型，能识别异常源、追踪影响路径。研究团队构建数据生成框架和评测基准，采用三阶段训练策略，模型在多任务表现优，成本低且泛化能力强。