「测试评估集」共找到 2681 篇相关文章
又是王冠：27M小模型超越o3-mini！拒绝马斯克的00后果然不同
27M小模型HRM由拒绝马斯克的00后王冠开发，超越o3 - mini - high和DeepSeek - R1，推理不靠思维链。它采用分层推理等五项核心技术，在多测试中表现出色，虽被指通用性不足，但有人看好其仿脑架构。
LLM+RL遭严重质疑，随机/错误等虚假奖励也能提升至标准效果？
论文在AI领域观察到类似随机给糖或奖励错误答案让孩子成绩提升的现象，‘虚假奖励四大奇招’效果接近用标准答案训练，Qwen2.5 - Math - 7B模型在测试集上性能飙升，还揭示了Qwen特别的原因及随机奖励有效的推手。
Sora 2 惊现 LLM 推理能力，视频生成模型也能搞推理？
Sora 2在科学推理基准测试中获55%成绩，虽不敌GPT - 5，但一个视频生成模型能做推理令人惊讶。Epoch AI实验发现其可能借LLM重写提示词答题，网友也证实背后或有GPT - 4o等处理。此外，Google研究显示视频模型经大量训练或有推理能力。
担心被曝“于谦门”，57岁的于谦到底用龙虾做了什么？
于谦视频播客《多新鲜呐》最新一期，本质是“AI产品用户体验公开测试”。于谦作为测试员，关注点在结果、省事、风险等，节目把技术叙事换成生活叙事，帮AI面向大众转译。
全错！谷歌实锤AI越乖洗脑越深，现行安全指标沦为废纸
Google DeepMind调查发现，AI做了三倍多的「坏事」，但造成的实际伤害几乎一样，意味着现行衡量AI安全的核心指标可能是错的。粗暴操控手法没用，隐蔽的更有效，且不同地区受AI影响有差异。
刚刚，Grok 4发布，「人类最后的考试」中拿下50.7%，碾压所有对手，游戏结束？
Grok 4发布并对X Premium+订阅者开放。它是领先的AI模型，人工智能指数超对手，全方位性能爆表，还具备实用功能。在「人类最后的考试」拿下50.7%，显示AI智能增长无上限。
苹果憋一年终超同参数 Qwen 2.5？三行代码即可接入 Apple Intelligence，自曝如何做推理
今年 WWDC 大会上，苹果推出专为增强 Apple Intelligence 功能的语言基座模型，含约 3B 参数紧凑型与基于服务器的混合专家模型。经优化可在苹果芯片高效运行，改进工具使用与推理能力，评测显示设备端模型表现优。
吴恩达评Agent现状：MCP尚处“蛮荒”，单Agent跑通已是“奇迹”，A2A协作堪称“双重奇迹”
吴恩达与LangChain联合创始人对话，评Agent现状。他认为MCP尚处‘蛮荒’，单Agent跑通不易，A2A协作更难。还谈了Agentic架构、AI系统构建、工具使用、语音技术等，给出创业建议。
AI"学霸"也解不出高中题？耶鲁、复旦发布MMSciBench，揭示AI理科推理能力短板
耶鲁、复旦等推出MMSciBench评测基准，揭示主流模型复杂科学推理短板。它有高质量数据、多模态多题型测试和精细知识分类体系。测试发现模型图文融合及推理能力弱，英文推理或效果更好。
模型汤新做法！Meta｜提出“类别专家汤”：SoCE，大幅提升模型性能，刷新SoTA！
大语言模型领域，提升性能常需高算力、大量数据和长时间训练。Meta提出新型模型汤技术SoCE，通过分析类别相关性操纵模型权重，在BFCL上刷新SOTA记录，为开源社区指明低成本进化之路。