「人工智能评估」共找到 1182 篇相关文章
重新审视SFT的泛化能力：优化动态、数据与模型能力的条件性分析
上海人工智能实验室等联合研究质疑了‘SFT倾向于记忆，RL实现泛化’观点，指出SFT泛化是条件性现象，受优化动态、训练数据、基模型能力影响，还揭示长思维链SFT会带来安全性能退化。
具身智能迎来ImageNet时刻：RoboChallenge开放首个大规模真机基准测试集
近日，RoboChallenge推出全球首个大规模、多任务真机基准测试。它构建开放、公正、可复现的‘真实考场’，为视觉 - 语言 - 动作模型提供评估标准，推动具身智能发展，还提供远程测试服务等。
研究者警告：强化学习暗藏「策略悬崖」危机，AI对齐的根本性挑战浮现
强化学习是大模型推理与对齐的核心方法，但常带来模型行为脆弱等问题。上海人工智能实验室徐兴成博士论文揭示‘策略悬崖’挑战，分析其成因，解释多种对齐失败现象，并提出对AI研究的启示。
30余家单位确认加入，国内首部AI数据标注标准欢迎参与起草！
数据标注对AI产业发展至关重要，但行业存在合规问题。国内首部AI数据标注合规标准《面向人工智能的数据标注合规指南》应运而生，草案稿研讨会已召开，30余家单位已加入，现诚邀相关单位参与起草。
这家国内公司，在给具身智能技术栈做「通解」
具身智能是AI热门赛道，世界人工智能大会WAIC 2025让其概念渐明。国内梅卡曼德公司展位集合机器人技术多种落地形式，展示自研通用机器人「眼脑手」全栈技术产品，推动机器人各行业落地。
Shopify分享了他们做Agent的万字踩坑经验
Shopify分享构建生产级AI助手Sidekick的万字经验。构建中遇工具拓展难题，用JIT指令解决；评估是大挑战，建立严谨体系，虽有提升但效果仍有波动，模型还会钻空子，最后强调单Agent系统也强大。
OpenAI新幻觉论文惹争议！GPT-5拉胯是测试基准有问题？？
OpenAI新论文《语言模型为何会产生幻觉？》提出，模型有幻觉是因标准训练和评估流程倾向奖励“猜对”。GPT - 5不爱猜测，在榜单表现不佳，网友质疑论文是为GPT - 5挽尊，论文引发网友多方向讨论。
Demis Hassabis揭秘世界模型Genie 3的真正意义：为AGI打造无限“虚拟子宫”
Google DeepMind CEO Demis Hassabis与产品负责人深度对谈，爆料将游戏智能体SIMA放入Genie 3生成世界训练，探讨AI从游戏到思考系统的演进、Genie 3意义及AGI评估挑战，还提及与Kaggle合作推游戏竞技场。
3B模型性能小钢炮，“AI下半场应该训练+验证两条腿跑步”丨上海AI Lab&澳门大学
上海AI Lab和澳门大学联合发布通用答案验证模型CompassVerifier与评测集VerifierBench，填补Verifier领域循环迭代体系空白。AI下半场评估比训练更重要，当前验证方法有困境，新模型验证精度高且能用于强化学习。
推荐系统进入「双动力」时代！首篇LLM-RL协同推荐综述深度解析
强化学习是推荐系统主流建模范式，但传统 RL 推荐系统有诸多瓶颈。大语言模型崛起带来新机遇，LLM 与 RL 结合开启新范式。研究团队发布首篇相关综述，提出五大协同范式，总结评估体系，分析挑战与方向。