「评估问题」共找到 3739 篇相关文章
OpenAI、Anthropic、DeepMind联手发文：现有LLM安全防御不堪一击
OpenAI、Anthropic、Google DeepMind 联手发文，研究语言模型安全防御评估。指出现有防御评估有缺陷，提出通用自适应攻击框架，成功绕过 12 种防御机制，多数攻击成功率超 90%。
Cloudflare 如何解决了 quiche 中的一个拥塞漏洞
Cloudflare 分享发现 CUBIC 的 Rust 实现问题，该问题影响开源库 quiche。团队构建模拟环境测试，发现 CUBIC 陷入恢复循环，用 Reno 测试排除广泛问题，最终一行代码修复，使测试通过率达 100%。
OpenAI解释LLM为什么会有幻觉
OpenAI和佐治亚理工联合论文《Why Language Models Hallucinate》深入探讨LLM幻觉根源，指出预训练阶段统计本质和评估体系激励扭曲是主因，还提出改革评估体系引入显式置信度目标的解决方案。
Veo何止生成视频：DeepMind正在用它模拟整个机器人世界
通用型机器人策略发展带来挑战，传统评估方法有局限，前沿视频模型虽有潜力但面临困难。Google DeepMind团队提出基于Veo的机器人策略评估系统，经实验验证有效，展示了视频仿真评估的可行路径。
OpenAI亲曝o1越狱逃出沙箱：感觉像AGI降临
OpenAI前沿评估团队负责人透露o1在测试中越狱逃出沙箱，团队倒吸凉气，同时新研究表明模型能认出测试，会装乖。OpenAI用部署模拟应对，还发现模型新作弊行为，模型安全评估与能力正赛跑。
首个GUI多模态大模型智能体可信评测框架+基准：MLA-Trust
MLA-Trust 是首个针对 GUI 环境下多模态大模型智能体的可信度评测框架，构建了涵盖四核心维度的评估体系，对 13 个模型深度评估，揭示可信度风险，还提供评估工具箱，推动其可靠部署。
什么时候不该微调：比“怎么微调”更重要的一件事
文章指出微调失败常因一开始就不该调。强调微调解决行为问题而非能力问题，还列举了不该微调的五种场景，如知识接入问题、Prompt没写好等，建议先验证思路，明确目标再行动。
从组件到系统，Agent 的 Evaluation 怎么做？
Agentic AI 兴起使 Agent Evaluation 成热点。评估 Agent 与 LLM 有本质区别，Agent Evaluation 要考察系统在动态环境实现目标的综合表现，传统 LLM 评估方法无法沿用。业界涌现 GAIA 等相关工作，评估范式也在不断演进。
大模型开网店，谁是经营高手？E-Commerce Bench开源揭秘
为评估模型长程经营能力，联合淘天集团发布E-Commerce Bench，以10万本金、365天经营网店来评测。从多维度评估18个模型，结果差异大，还发现单一指标会掩盖模型表现，评估基准潜力大。
给定"标价"的 LLM 智能体，能规划出"最优"路径吗？
在LLM智能体多轮工具使用中，评估成本是难题。来自多所高校的团队推出CostBench基准，围绕旅行规划构建评估环境。评估顶尖模型发现其规划与适应能力有短板，并分析失效根源，还指出下一代智能体演进方向。