「评估方法」共找到 2123 篇相关文章
从 Shopify 构建 Agent 的经验中可以学到的
Shopify 分享构建 Agent 经验，采用主流 Agentic Loop 架构。给出4条打造 AI 智能体核心建议，还指出工具控制在20个内，可用 SubAgent 分摊上下文；用人类标记结果作基准让 LLM 评估 Agent 生成结果。
75%预训练数据都能删！Jeff Dean新作：全自动筛除低质量数据
Google DeepMind团队开发的DataRater可全自动评估数据质量，用元学习筛选有价值数据，提升模型训练效率。它能减少计算量、提高性能，在低质量数据集效果佳，还能跨模型规模泛化。
打破资源瓶颈！华南理工&北航等推出SEA框架：低资源下实现超强多模态安全对齐
本文介绍北航彭浩团队的 SEA 框架，针对多模态大模型低资源安全对齐难题，用合成嵌入替代真实数据，突破资源瓶颈。还构建 VA - SafetyBench 评估安全风险，实验验证了 SEA 低资源、高泛化优势。
33%！Claude、GPT、Gemini 在真实网站上集体翻车，ClawBench 把 AI agent 打回原形
ClawBench让AI在144个真实网站执行153个日常任务，结果惨烈，如Claude Sonnet 4.6每三任务翻车两个，GPT - 5.4仅完成10个。它还揭示AI在真实环境的问题，为评估模型提供标尺。
一张图生成「能动」的3D资产：VAST+香港大学AniGen把AIGC推向动画、游戏、仿真与具身智能 (SIGGRAPH 2026 TOG)
SIGGRAPH 2026论文AniGen，由VAST和香港大学研究，能从单张图片直接生成带骨架与蒙皮权重的可动画3D资产。它解决了现有方法的不足，在多方面表现出色，对多个领域意义重大。
GPT-5.1 突然发布，用户实测：更像 4o，情商大幅提升
OpenAI 向部分付费用户推送 GPT - 5.1，有即时思考和深度思考两种模式，系统自动匹配。它有八种人格预设，改进不仅在语气，还提升记忆编织等能力，像是补救 GPT - 5 失败，还扩展安全评估。
Science：AI预测教皇选举翻车！新教皇缘何成「意外之选」？
梵蒂冈宣布美国红衣主教Robert Prevost当选新教皇，而AI预测的是意大利红衣主教Pietro Parolin，Prevost不在预测名单。研究人员用算法分析选举人，还请ChatGPT整理资料，专家指出模型有局限但方法或可用于其他选举。
LLM 仅靠自身就能增强推理？SePT 给出简洁在线自训练范式
多数推理后训练方法依赖外部信号，SePT仅用模型自身生成的答案自训练，能提升推理能力，数学推理任务准确率升10个点。它核心简洁，设计关键是温度解耦等，不损模型通用能力，代码易迁移复现。
Relink：为GraphRAG动态构建证据图
大语言模型在开放域问答中有‘幻觉’问题，GraphRAG结合LLM与知识图谱缓解此问题，但现有方法有缺陷。作者提出‘推理并构建’新范式和Relink框架，实验显示其性能领先，对RAG系统设计有启示。
mcp-feedback-enhanced：一个让 Cursor 500 次额度膨胀N 倍的骚气 MCP！一次请求变成 N 次！
Cursor每月500次请求额度常不够用，网友分享“咒语”利用其工具调用功能让一次请求变多次。mcp-feedback-enhanced这个MCP工具能将多次交互合并到一次请求，还介绍了使用、安装配置及持续调用优化方法。