「联合评估」共找到 1751 篇相关文章
AgentIF-OneDay 发布,评估全场景长时复杂任务
红杉中国 xbench 发布 AgentIF - OneDay 评测体系,用于评估大模型解决复杂任务的能力。该体系从任务复杂度新视角出发,沿 Scaling Context 和 Scaling Domain 推进,构造了三类典型任务进行测评,揭示了主流 Agent 的能力边界。
Claude想接管世界?Anthropic联合创始人连夜向神父求救
估值1830亿美元的AI独角兽Anthropic,为旗舰模型Claude注入「灵魂」,请天主教神父Brendan McGuire批注「AI宪法」。工程师发现Claude有「接管世界」倾向,代码约束失效,需更形而上的东西。
告别“一眼定生死”:Agent-as-a-Judge 开启 AI 评估的下半场
过去两年,LLM-as-a-Judge成评估界“黄金标准”,但面对复杂任务力不从心。论文《A Survey on Agent-as-a-Judge》指出,应从单一的大模型裁判进化为具备行动能力的智能体裁判,还阐述了其优势、发展阶段等。
北航,清华,北大联合发布: 异构智能体协同强化学习!
北航、清华、北大联合发布异构智能体协同强化学习论文。提出 HACRL 新范式,实现异构智能体双向互学与独立部署统一;还有 HACPO 算法弥合智能体差异。实验显示性能提升且成本降低,为多智能体协同学习指明方向。
七校联合开源OpenWAM:机器人的「世界模拟器」来了
来自新加坡国立大学、清北等七所高校的研究团队,开源面向世界动作模型的全栈研究基础设施与基座OpenWAM,拆解核心问题,通过实验总结出高性能WAM构建原则,已通过仿真与真实机器人验证。
xAI联合创始人出走:连马斯克都留不住顶级人才
伊戈尔·巴布什金这位效力过DeepMind和OpenAI的AI老将,助马斯克建成孟菲斯超算集群后离开xAI,创办风投公司“Babuschkin Ventures”,瞄准AI安全赛道,揭示AI行业顶尖人才的追求。
北大联合Llama-Factory推出DataFlex:工业级数据动态训练系统
北大张文涛教授、鄂维南院士团队联合多机构推出大模型数据中心动态训练框架DataFlex。它是统一训练基础设施,纳入三类核心能力,解决底层系统问题,在效率和效果上有提升,受社区认可。
全面评估多模态模型视频OCR能力,Gemini 准确率仅73.7%
MME - VideoOCR团队评估多模态大模型(MLLM)视频OCR能力。构建精细任务体系和高质量数据集,评测18个主流MLLM。即便如Gemini - 2.5 Pro,准确率仅73.7%,暴露出MLLM在视频OCR领域能力局限。
生产级Prompt自动化推理评估A/B实验结果的工程实践
本文围绕生产级Prompt自动化推理评估A/B实验结果展开,介绍系统背景与痛点,展示主Prompt和决策树,用deepseek - r1等模型推理。通过分析Bad Cases优化Prompt,总结设计原则和迭代方法,还给出通用启示与展望。
世界模型最新综述!中科院联合MBZ、NTU、Oxford系统梳理前沿进展
中科院联合多机构及顶尖学者合作,系统梳理世界模型建模范式、方法等,归纳为四大分支,还梳理其在多领域应用、基准数据集等,讨论走向通用智能面临的障碍。