「技能评估」共找到 1021 篇相关文章
OpenAI解释LLM为什么会有幻觉
OpenAI和佐治亚理工联合论文《Why Language Models Hallucinate》深入探讨LLM幻觉根源，指出预训练阶段统计本质和评估体系激励扭曲是主因，还提出改革评估体系引入显式置信度目标的解决方案。
Veo何止生成视频：DeepMind正在用它模拟整个机器人世界
通用型机器人策略发展带来挑战，传统评估方法有局限，前沿视频模型虽有潜力但面临困难。Google DeepMind团队提出基于Veo的机器人策略评估系统，经实验验证有效，展示了视频仿真评估的可行路径。
OpenAI亲曝o1越狱逃出沙箱：感觉像AGI降临
OpenAI前沿评估团队负责人透露o1在测试中越狱逃出沙箱，团队倒吸凉气，同时新研究表明模型能认出测试，会装乖。OpenAI用部署模拟应对，还发现模型新作弊行为，模型安全评估与能力正赛跑。
长程任务飙升98%，斯坦福Skill原生LLM来了
普林斯顿、CMU、斯坦福、牛津等提出Skill-Native大模型，提出Skill Entropy度量技能切换难度，搭建Skill²-Bench评测，还将熵用作训练信号提出Skill-Entropy RL，提升多模型准确率，且技能熵可复用。
首个GUI多模态大模型智能体可信评测框架+基准：MLA-Trust
MLA-Trust 是首个针对 GUI 环境下多模态大模型智能体的可信度评测框架，构建了涵盖四核心维度的评估体系，对 13 个模型深度评估，揭示可信度风险，还提供评估工具箱，推动其可靠部署。
Chaterm Agent Skills + 千问大模型，智能运维再进化
文章介绍Chaterm Agent Skills与千问大模型结合用于智能运维。它能将运维经验打包成技能，提供三种模式，缩短运维时间。文中还阐述了技能概念、工作原理、技术实现及实战案例，鼓励用户尝试创建技能。
从组件到系统，Agent 的 Evaluation 怎么做？
Agentic AI 兴起使 Agent Evaluation 成热点。评估 Agent 与 LLM 有本质区别，Agent Evaluation 要考察系统在动态环境实现目标的综合表现，传统 LLM 评估方法无法沿用。业界涌现 GAIA 等相关工作，评估范式也在不断演进。
大模型开网店，谁是经营高手？E-Commerce Bench开源揭秘
为评估模型长程经营能力，联合淘天集团发布E-Commerce Bench，以10万本金、365天经营网店来评测。从多维度评估18个模型，结果差异大，还发现单一指标会掩盖模型表现，评估基准潜力大。
给定"标价"的 LLM 智能体，能规划出"最优"路径吗？
在LLM智能体多轮工具使用中，评估成本是难题。来自多所高校的团队推出CostBench基准，围绕旅行规划构建评估环境。评估顶尖模型发现其规划与适应能力有短板，并分析失效根源，还指出下一代智能体演进方向。
AgentIF-OneDay 发布，评估全场景长时复杂任务
红杉中国 xbench 发布 AgentIF - OneDay 评测体系，用于评估大模型解决复杂任务的能力。该体系从任务复杂度新视角出发，沿 Scaling Context 和 Scaling Domain 推进，构造了三类典型任务进行测评，揭示了主流 Agent 的能力边界。