「评估工程」共找到 1392 篇相关文章
大模型刷数学题竟有害？CMU评估20+模型指出训练陷阱
CMU团队评估20多个大模型，发现只有强化学习（RL）训练的模型能将数学推理技能广泛迁移到其他任务，监督微调（SFT）训练的模型迁移有限甚至无迁移。研究还探索差异原因，表明RL微调更具优势。
LLM长文本内卷，谁是真英雄？告别跑分玄学，我们需要一把“公道秤”
OpenNLG Group做了统一长上下文评估框架LOOM - Scope，兼容主流benchmark、model和长上下文加速方法。该框架围绕BENCHMARK、DEPLOYMENT和EVALUATOR三大核心模块，还提出LOOM - Bench应对评估成本制约。
Anthropic万字Skills教程，把Agent工程的核心武功秘籍说明白了
Anthropic官方发布33页Skills构建指南，详细介绍构建高效Skill的方法，涵盖基础概念、规划设计、测试迭代、分发共享等内容。还提及openai用codex agent做项目的经验，指出人类审查成瓶颈，引出渐进式披露的核心秘籍。
谷歌推出 LLM-Evalkit，为提示词工程带来秩序与可衡量性
谷歌推出基于 Vertex AI SDK 的开源框架 LLM - Evalkit，让大语言模型提示词工程更有序可衡量。它整合实验、测试等环节，与谷歌云工作流集成，有无代码界面，已在 GitHub 发布。
ACL 2025 Oral | 你的模型评测搭子上线：Evaluation Agent懂你更懂AI
上海人工智能实验室与新加坡南洋理工大学合作研发 Evaluation Agent，它能按需评估视觉生成模型，有可定制、高效率等优势。框架分提案和执行两阶段，评估结果佳，未来将拓展功能。
从上下文工程到 AI Memory，本质上都是在「拟合」人类的认知方式
文章结合胡塞尔现象学，探讨从上下文工程到AI Memory，指出它们本质在‘拟合’人类认知。介绍二者概念及构建方法，对比人类与AI记忆异同，还通过与胡塞尔对话，思考AI意识等哲学问题。
YC最新总结顶尖的提示词应该怎么写？
提示工程在大模型时代愈发重要，其核心在于提示词设计。近日，YC在播客分享从与大模型创业公司学到的提示工程实践，涵盖核心原则、进阶技巧、企业级实践、创业者模式等内容。
把PLC仿真搬进浏览器，小参数模型也能实现高工程通过率
上海交通大学联合Sema研究团队推出SemaPLC，将AI Agent与PLC工程工具链连接，让自然语言需求转化为可编译、验证、仿真的控制程序。它是面向全流程的智能工作台，实验效果优于业界方案。
编程能力开源SOTA，网络安全提升2倍！智谱发布GLM-5.3
智谱发布GLM-5.3，743B参数模型，编程能力达开源SOTA。网络安全能力涌现，基准得分是GLM-5.2两倍多。全部提升来自后训练缩放，还自研Z.ai Code Bench评估，安全评估加固后权重将开源。
跨越技术与法律的壁垒：AI赋能知识产权领域任务全能评测基准IPBench发布
本推文介绍arXiv论文《IPBench: Benchmarking the Knowledge of Large Language Models in Intellectual Property》。论文提出IPBench评估基准，构建含20个任务、10374个双语数据点的基准，评估17个主流模型，揭示现有模型在IP任务中局限。