「评估框架」共找到 2212 篇相关文章
Notion、Stripe 都在用的 Agent 监控，Braintrust 会是 AI-native 的 Datadog 吗？
当 Agent 迈向产品化，开发者面临观测、评估和优化黑箱系统的挑战。Braintrust 由 Ankur Goyal 于 2023 年创立，重塑 Observability，提供 Eval 和 Ship 模块，获多家头部公司青睐与投资。文章从多方面剖析其能否成 Agent 时代‘新 Datadog’。
港大联手月之暗面等开源OpenCUA：人人可造专属电脑智能体
香港大学 XLANG Lab 和月之暗面等多家机构提出用于构建和扩展 CUA 的完全开源框架 OpenCUA，含注释工具、大规模数据集等，还构建旗舰模型 OpenCUA - 32B，公开代码、数据和模型。
架构师困境：选择已被验证的道路，还是自行开辟一条新路？
开发软件时，团队要做产品功能和架构决策，面临选已验证路径还是自辟新路的困境。使用平台和框架虽能加快开发，但有副作用。团队需通过实验判断何时扩展或替换平台。
好玩！AI模仿人类‘空像错觉’，开启想象力之旅
越南国立大学提出Shape2Animal框架，模仿人类‘空想性错觉’，将自然物体轮廓转化为动物图像。该框架经多阶段流程，结合多种技术生成画面，但也继承了基础模型的一些局限性。
训练即服务！让模型训练回归算法语义，150行代码跑通RL
ModelScope团队开源Twinkle框架，采用Client - Server架构，支持20余种算法组件。开发者约150行代码就能编排复杂RL训练循环，底层调度等交给框架。它兼顾易用性与灵活性，有多种特点和优势，代码已开源。
OpenAI研究大模型对GDP贡献，三大行业已能代替人类，并自曝不敌Claude
OpenAI推出新评估方法GDPval，跟踪模型在现实任务表现。评估显示前沿模型接近专家水平，Claude Opus 4.1表现最佳，GPT - 5准确性出色。还发布黄金子集和评分服务，其处于起步阶段将持续扩展。
谷歌开源的 Gemini CLI 扩展助力开发者构建定制化人工智能工作流
谷歌发布开源的 Gemini CLI 扩展框架，引入‘剧本’概念，可让 AI 与外部工具交互。框架增强了 Gemini CLI 功能，支持多组件。谷歌构建开放生态，还为开发者提供模板和指南，其在 AI 驱动 CLI 领域有独特优势。
今年看到最系统的AI Agents时代Memory综述~
分享由NUS、人大等联合出品的《Memory in the Age of AI Agents: A Survey》。用三维框架讲透200+篇论文，提出新三大记忆形态，展望7大前沿，还涵盖记忆各方面知识及资源。
推理路径的动态调控：让大模型学会“恰到好处”的思考
当前大模型推理路径存在冗余问题，本文提出测试时提示干预框架PI（π），通过《When/How/Which》三模块协同，将人类专家经验融入推理过程，在多个STEM基准测试中缩减推理步骤、提升准确率。
千星项目LLMRouter：多模型路由，16+策略优化推理
UIUC开源智能模型路由框架LLMRouter，可自动为大模型应用选最优模型，有16+路由策略。该框架打通训练、评测等链路，解耦Route与Training模块，支持多轮协同等，还可插件式扩展。