「评估框架」共找到 2212 篇相关文章
当大模型陷入幻觉循环，如何用工程化给它“立规矩”？
普林斯顿和伯克利研究定义“机器胡扯”，指出大模型胡扯问题。蚂蚁集团旗下蚂蚁密算在2025 WAIC提出高阶程序（HOP）框架，为大模型注入规则，还开源此框架，其在多行业场景应用效果良好。
具身VLA后训练：TeleAI提出潜空间引导的VLA跨本体泛化方法
现有VLA基座模型能力不足，跨本体适配存在挑战。中国电信人工智能研究院具身智能团队提出“对齐 - 引导 - 泛化”（ATE）框架，实现从调架构到调分布的范式转移，适配主流VLA模型，减少数据需求。
9 个加速开发者生产力的开源 AI 与 MCP 项目
Github官方精选9个开源项目，分框架与平台集成、开发者体验及AI增强编码、自动化与测试编排三大主题。各项目聚焦不同功能，如将MCP嵌入框架、语义理解辅助编码、安全执行调试等，能加速开发者生产力。
DeepSeek-R1全升级V2版：Token成本低至原来30%
DeepSeek - R1 V2版全维度升级，训练框架从‘单一RL’到‘多阶段协同优化’，推理能力从‘能推理’到‘会优化推理’，还提升了安全可控性，适配生态，推出轻量级模型。
ACL 2025 | 指令遵循不能仅靠常识？GuideBench 揭示大模型如何“踩雷”领域指南规则
这篇ACL 2025主会论文聚焦提升智能体指南规则遵循能力。提出评估基准GuideBench，涵盖7类1272个任务。实验显示多数主流大模型指令遵循能力不佳，尤其数学推理挑战大，为模型迭代提供评估基准。
LLM应用测试范式的进化
文章指出传统软件测试方法在LLM应用中存局限，探讨将其与AI评估结合应对挑战。抽象出LLM应用三层架构模型，分析传统测试范式适用性，介绍AI安全分析方法，阐述测试挑战、范式转变及协同测试策略。
航空学报 | 西工大余囿铮、寇家庆等：基于生成对抗网络的通航飞行器气动布局设计方法
传统飞行器气动布局设计依赖专家经验，方案多样性受限。本文基于改进的生成对抗网络，提出端到端气动布局生成框架，以机翼和通航飞行器为对象研究，验证了其在创新飞行器设计方面的潜力。
CodeClash 通过多轮编程竞赛对大型语言模型进行基准测试
为评估大型语言模型（LLM）编码能力，斯坦福、普林斯顿和康奈尔研究人员开发 CodeClash 基准测试，让多个 LLM 在多轮比赛中较量，涉及多种代码竞技场，还评估模型分析代码库能力，未来将处理更大代码库。
提速79%！上交大新方法优化企业级AI流程调度 | IEEE ICDCS’ 25
上海交通大学朱怡飞教授团队联合江行智能提出调度框架LLMSched，解决复合LLM应用任务运行时长和结构不确定问题。该框架重构DAG模型，用贝叶斯网络和熵减机制优化调度，实验显示最多降79%平均任务完成时间。
GPT-5仅23.3%，全球AI集体挂科！地狱级编程考试，夺金神话破灭
最新基准测试SWE-Bench Pro评估AI编程智能体，直面真实企业级工程任务。顶尖模型几乎溃败，GPT - 5仅23.3%。该测试解决现有基准数据污染、任务简单问题，能成未来LLM编码能力标尺。