「评估范式」共找到 1651 篇相关文章
复盘 ChatGPT：7 亿周活的 ToC 产品，如何在模型之外做增长？
Lenny播客邀请OpenAI的ChatGPT负责人Nick Turley对谈，他分享了ChatGPT从内部项目成长为7亿周活产品的过程，包括产品开发、增长、定价决策等，还阐述了成功原因、增长方法等，为AI创业者带来启发。
7B模型对标GPT-4o，全球首个医疗代码生成大模型训练平台来了
研究团队发布全球首个医疗代码生成大模型训练平台MedAgentGym，提供评估基准和训练生态，提升大模型医疗代码生成与推理能力。经其训练的Med - Copilot - 7B达GPT - 4o相当水平，解决医疗AI编程瓶颈。
类R1训练不再只看结果对错！港中文推出SophiaVL-R1模型
DeepSeek - R1爆火后，类R1结果奖励训练范式引发推理热潮，但仅以结果对错奖励模型有弊端。港中文联合团队发布多模态推理模型SophiaVL - R1，引入‘思考奖励’机制，还用Trust - GRPO算法解决奖励欺骗问题。
OpenAI久违发了篇「正经」论文：线性布局实现高效张量计算
OpenAI 近日发布研究论文，提出用于高效张量映射的统一代数框架 Linear Layouts，解决了 Triton 等深度学习编译器中长期存在的难题。该框架是使用二元线性代数的张量布局通用代数形式，评估显示其优化版 Triton 性能有提升。
从打分器到思考者：RM-R1用推理重塑模型价值判断
伊利诺伊大学香槟分校团队提出 RM - R1 框架，将奖励建模定义为推理任务。它引入推理奖励模型和链式评估准则机制，经两阶段训练，在多基准测试中表现超大规模模型，验证了推理能力对奖励模型的重要性。
Agent开始“自我进化”：会出题、会反思，还会自己长出新技能
文章围绕自进化Agent展开，介绍其概念、受重视原因及三大技术路线，涵盖各路线代表工作的特点、评估及对比，指出研究空白如总结者训练等，最后还介绍了基于Agentic AI的全链路数据助手Dola。
对话 XYZ-Aquila丨Deep Search SOTA 背后 AI 到底怎么参与改进 AI？
近日，XYZ AI Lab发布两款面向Deep Search的Agent，在评测中领先。其采用AI4AI方法，让AI参与研发判断。团队接受采访，探讨AI4AI含义、与RSI关系、工作范式等，还分享了改进案例和未来方向。
Stripe 发布基准测试：AI 智能体可开发集成方案，但校验环节存在短板
Stripe推出基准测试套件，评估AI智能体构建完整Stripe集成方案的能力，测试聚焦金融系统贴近生产环境的集成场景。测试显示，不同任务类型评测结果差异显著，核心瓶颈在于验证环节，当前智能体短板在校验逻辑等方面。
静态稀疏已死：Flux Attention 开启长文本 LLM 自适应推理新时代
文章指出长上下文LLM高效推理面临性能与效率难题，先介绍Elastic Attention打破静态稀疏桎梏，后重点阐述全新的Flux Attention，它将动态稀疏注意力范式升级为层级别路由，解决了算法与硬件的矛盾，在多方面实现突破。
当每个人都能指挥一支 AI 大军，什么能力最重要？
文章指出，在AI Agent增多的时代，管理能力是驾驭它们的关键。沃顿商学院教授提出判断是否委派任务给AI的公式，还建议从更好的指令、评估、反馈三方面提高成功率，同时给出委托任务和锻炼管理能力的方法。