「人工智能评估」共找到 1182 篇相关文章
奖励模型预训练新范式POLAR：突破强化学习短板，有望打通RL链路扩展“最后一环”
强化学习中奖励模型设计与训练是瓶颈，上海人工智能实验室提出奖励建模新范式POLAR。它摆脱传统“绝对偏好”限制，契合强化微调框架，通过对比学习训练，实验证明其性能和泛化性佳，有望打通RL链路扩展最后一环。
近期必读，Mary Meeker 340页PPT分析AI现状和未来
Mary Meeker发布340页《人工智能趋势报告》，分析AI现状与未来。报告指出AI发展迅速，用户、使用量和资本支出增长前所未有，但也面临变现威胁，如竞争加剧、开源模型崛起和中国追赶，同时AI正深刻改变工作方式。
空间智能终极挑战MMSI-Video-Bench来了，顶级大模型全军覆没
上海人工智能实验室 InternRobotics 团队推出空间智能视频基准 MMSI-Video-Bench，对主流多模态大模型进行评测。该基准题型全面、问题具挑战性，视频数据多样，能针对性测评。结果显示模型与人类差距显著，明确了能力瓶颈。
OpenAI 3万亿美元测试，AI首战44个行业人类专家！
OpenAI推出GDPval评估体系，通过真实工作任务审视大模型潜力，揭示AI从实验室走向3万亿经济战场的可能。早期测试显示，Claude Opus 4.1表现最佳，GPT系列进步快，模型在部分任务逼近人类专家水平。
告别「一条路走到黑」：通过自我纠错，打造更聪明的Search Agent
为解决知识实时性和推理复杂性挑战，搜索智能体（Search Agent）应运而生，但缺乏自我纠错能力。腾讯联合清华提出 ReSeek 框架，引入动态自我修正机制，还构建 FictionalHot 数据集评估，实验效果良好。
AI百人榜刷屏，小扎照单全收？辛顿Ilya师徒霸榜，第二名竟是本科生
Top 100人工智能名单出炉，Ilya登顶，Hinton家族两人入选，图灵排名第六。78人有博士学位，排名第2的是本科生。清华等国内大学校友多人入选，该名单疑似启发自扎克伯格的机密人才名单。
首个多模态工业信号基座模型FISHER，权重已开源，来自清华&上交等
清华、上交等团队联合发布首个多模态工业信号基座模型 FISHER，用搭积木法对异质工业信号统一建模。技术报告和权重已开源，还提出 RMIS 基准评估性能，实验显示其泛化能力强。
AI 怎么自我改进？Lilian Weng 的答案是：先写好Harness
提出 Agent 基本公式的 Lilian Weng 探讨 AI 递归自我改进，强调‘harness’重要性，介绍其设计模式、优化方法，还提及未来挑战与有用基准。如 harness 工程额外包含工作流设计等，优化方式多样但也面临评估器弱等问题。
AI“压力面”，DeepSeek性能暴跌近30% | 清华&上海AI Lab
上海人工智能实验室等团队设计REST框架，在一个prompt里抛多个问题模拟多任务推理场景。测试发现即便顶级模型如DeepSeek - R1在“高压”下准确率也骤降，该框架能揭示模型差异，为评测提供新范式。
为什么所有企业都在谈 Agent？50+ 技术实践给出真实答案
12月19 - 20日北京举办的AICon全球人工智能开发与应用大会，聚焦AI Agent等关键方向。来自腾讯等企业的实践者将分享构建智能系统经验，大会设Keynote和12大平行技术专场，呈现AI技术全景。