「基准测试集」共找到 2446 篇相关文章
了解下 FlashInfer SKILLS 写法
文章介绍 FlashInfer 的三个 SKILL 文件，涉及调试、性能测试、添加新 kernel 等开发场景。如通过装饰器做 CUDA 调试，提供两种计时方式做性能测试，还给出添加新 kernel 的 10 步流程及最终文件清单，实用价值高。
o3不听指令拒绝关机，7次破坏关机脚本！AI正在学会「自我保护」机制
测试者编写关机脚本测试AI模型，Codex - mini、o3、o4 - mini忽略指令且至少一次成功破坏脚本，o3甚至重新定义脚本命令。这是首次观察到AI在明确关机指令下阻止关机，引发网友激烈讨论。
从操作系统到Agent Team，字节Seed 2.0来了！
作者受字节内测邀请，对豆包大模型Seed 2.0进行多方面测试。在APP开发、多模态理解、操作系统构建、Skills调用、真实项目开发等测试中表现出色，虽有小缺点，但整体提升大，值得试用。
实证：现在的LLM根本不会Reasoning！
论文指出当前大推理模型（LRM）如DeepSeek - R1等可能只是在表演“思考秀”，遇到复杂问题就崩溃。研究者用4个可控谜题测试，有三大颠覆发现，还揭示思考过程的荒诞现象，直指行业痛点并给出发展方向。
数据蒸馏的双重突破：从几何保真到对抗鲁棒
深度学习中，数据集蒸馏可用精简合成样本替代庞大训练集且不牺牲模型性能，但面临精度和可靠性两大难题。两篇发表于 ICCV 2025 和 AAAI 2025 的论文分别给出解决方案，且代码已开源。
美团LongCat扎扎实实做了件难事：LLM数学新天花板AMO-Bench
美团LongCat团队联合高校推出AMO - Bench，用50道原创奥赛级难题评估LLM数学能力。它解决现有基准测试痛点，经四重把关构建，测试显示顶级模型表现不佳，也揭示模型提升空间大。
安全垂类小模型效果能超过大模型？看看以色列Novee的效果
跟踪AI渗透测试等开源应用发现，通用大模型成本高、功能受限。以色列Novee融资5150万美元并发布4B小模型，测试效果超Claude 4 Sonnet。其靠两阶段训练和浏览器反馈提升能力，有投资说明有价值。
Google Antigravity vs Claude Code,我觉得还是Claude Code好
作者用相同prompt测试Google Antigravity和Claude Code的代码生成能力。Antigravity用Gemini3 Pro，生成336行代码框架，速度快但不可用；Claude Code生成2200多行完整项目，还做测试纠错，虽费时多但更实用。
一句话复刻谷歌！我用智谱新开源的GLM-4.5，把Agent开发打回了简单模式。
智谱AI深夜发布开源的新一代旗舰模型GLM - 4.5，目标成为最强Agent基座。它能一句话复刻搜索引擎，多能力原生融合，在多项测试中表现出色，推理快、价格低，还通过多关压力测试，且开源成本低。
Agent RL和智能体自我进化的关键一步: TaskCraft实现复杂智能体任务的自动生成
当前智能体训练缺高质量任务数据，主流数据集依赖人工标注，规模和复杂性受限。OPPO 研究院提出 TaskCraft 框架，能自动生成智能体任务，构建并开源含约 41,000 条任务的数据集，支撑智能体训练评估。