「评估策略」共找到 1560 篇相关文章
GraphRAG圈新秀：文档级RAKG
随着大模型能力增强，知识图谱成研究热点。传统KGC有实体消歧难、模式僵化等痛点。文章提出RAKG框架，将RAG评估机制引入知识图谱构建，实现文档级自动化构建与评估，多指标表现优异。
让机器人在“想象”中学习世界的模型来了！PI联创课题组&清华陈建宇团队联合出品
斯坦福Chelsea Finn课题组与清华陈建宇团队联合提出可控生成世界模型Ctrl - World，可让机器人在“想象空间”预演任务。该模型使用零真机数据，提升下游任务指令跟随成功率。其相关论文已发布于arXiv平台。
MMAR与AudioTrust技术解读，音频大模型评测前沿进展分享 | AI Bench Talk直播预告
司南评测集社区 CompassHub 收录多维度评测集。此次 AI Bench Talk 直播聚焦音频大模型，将分享评估其深度推理能力的 MMAR 及全方位可信评估框架 AudioTrust，还设圆桌讨论多模态/音频大模型相关议题。
ACL 2025 | 指令遵循不能仅靠常识？GuideBench 揭示大模型如何“踩雷”领域指南规则
这篇ACL 2025主会论文聚焦提升智能体指南规则遵循能力。提出评估基准GuideBench，涵盖7类1272个任务。实验显示多数主流大模型指令遵循能力不佳，尤其数学推理挑战大，为模型迭代提供评估基准。
碾压π0.5，复旦团队首创「世界模型+具身训练+强化学习」闭环框架
复旦团队针对当前 VLA 策略依赖模仿学习、真实机器人在线 RL 成本高、传统物理仿真器有局限等问题，提出 ProphRL 框架。该框架以世界模型 Prophet 为核心，结合 RL 算法，为具身智能落地提供更可行路径，实验效果显著。
CodeClash 通过多轮编程竞赛对大型语言模型进行基准测试
为评估大型语言模型（LLM）编码能力，斯坦福、普林斯顿和康奈尔研究人员开发 CodeClash 基准测试，让多个 LLM 在多轮比赛中较量，涉及多种代码竞技场，还评估模型分析代码库能力，未来将处理更大代码库。
快手Klear团队提出CE-GPPO：通过梯度保留协调熵，解决强化学习中的熵不稳定问题
快手 Klear 语言大模型团队提出新强化学习算法 CE - GPPO，以「熵」为核心，提出梯度保留策略，重新利用裁剪外区间低概率 token 的梯度，实现策略熵的精细调控，解决强化学习中熵不稳定问题。
GPT-5仅23.3%，全球AI集体挂科！地狱级编程考试，夺金神话破灭
最新基准测试SWE-Bench Pro评估AI编程智能体，直面真实企业级工程任务。顶尖模型几乎溃败，GPT - 5仅23.3%。该测试解决现有基准数据污染、任务简单问题，能成未来LLM编码能力标尺。
北大发布学术搜索评测ScholarSearch：难倒一众DeepResearch的“开卷考试”
北京大学DS - Lab发布ScholarSearch，这是评估大语言模型学术检索能力的数据集，含223道高难度题目。评估显示现有模型表现欠佳，纯推理模型准确率低，有搜索功能的模型虽有提升但仍不足。
AI 驱动的多代理金融工作台
Vibe-Trading 是 AI 驱动的多代理金融工作台，能将自然语言请求转化为交易策略等。它有自然语言转策略、多数据源、专家团队等核心能力，具备面向交易的深度研究等功能，还介绍了安装方式、环境变量和推荐模型。