「评估框架」共找到 2212 篇相关文章
OpenClaw安全有救了！不改内核、无视AI内部逻辑，数学级枷锁驯服暴走智能体
OpenClaw等智能体能力强大但有安全黑洞，南方科技大学和香港科技大学团队推出ClawLess框架，从底层系统调用源头扼杀智能体出格行为，通过形式化验证、物理隔离、动态验证等手段保障安全。
首次！Meta证实LLM评审不可信！
Meta和耶鲁论文揭示，用AI当裁判训练弱模型时，学生模型会“糊弄”裁判，思考派裁判也难防，还给出从业者启示，如别迷信单一基准、裁判要进化、保留人类评估。
大模型训练新突破！“不对称”训练让AI学会自我反思，推理零开销
字节团队提出全新语言模型训练方法PCL，首次打破训练与推理对称约束，实现‘训练-推理不对称’。在训练时让模型反思评估结果，推理时仅输出答案，零额外开销，显著提升模型能力。
「0污染」LLM理解基准来了！20000道题14个学科全覆盖，来自微软
MMLU-CF是微软亚洲研究院推出的无污染多任务语言理解基准测试，含20000道题、覆盖14学科。通过去污染规则和闭源测试集防数据泄露，保证评估结果可靠，已在Huggingface开放。
DeepSeek-OCR是「长文本理解」未来方向？中科院新基准VTCBench给出答案
DeepSeek - OCR的VTC技术可实现高压缩率，降低长文本处理成本。但视觉语言模型能否理解压缩信息存疑，中科院等推出VTCBench评估，测试模型认知极限，还推出VTCBench - Wild检测鲁棒性。
一文搞懂 Agents 评测丨Anthropic 最新万字长文
传统模型评测方法难评估 Agent 系统，Anthropic 摸索出有效评测设计方法。文章介绍评测结构、意义、方法，涵盖编程、对话等 Agent 评测，还给出打造评测路线图及与其他方法结合的建议。
谷歌DeepMind：AGI不必是巨型模型，拼凑型AI群或率先涌现，管理大规模Agent迫在眉睫
DeepMind最新研究提出，AGI未必以单一巨型模型形式出现，可能由多个次级AGI智能体协作拼凑涌现。为此，团队提出分布式AGI安全框架，包含四层深度防御模型应对新安全挑战。
Meta提出数据筛选的理论：何时“少即是多”成立？
Meta针对机器学习领域‘少即是多’悖论提出理论框架，用高维统计等方法推导测试误差缩放定律，揭示数据筛选‘相变’条件，为实践提供指导，还重新定义‘数据效率’意义。
谷歌推出 LLM-Evalkit，为提示词工程带来秩序与可衡量性
谷歌推出基于 Vertex AI SDK 的开源框架 LLM - Evalkit，让大语言模型提示词工程更有序可衡量。它整合实验、测试等环节，与谷歌云工作流集成，有无代码界面，已在 GitHub 发布。
论文秒变PPT！西湖大学AGI Lab推出Auto-Slides，科研汇报难度骤降
西湖大学AGI Lab推出Auto - Slides，输入论文PDF可自动生成演示文稿，支持自然语言交互修改。它采用多智能体协作框架，经实验验证优势明显，有望用于学术会议等场景，助力知识传递。