「吞吐优化」共找到 1263 篇相关文章
OpenAI：我们正朝着什么方向优化 ChatGPT？
OpenAI 官网文章称，ChatGPT 发展方向是成‘对你有用’的工具，不追逐 DAU 或让用户沉迷。它介绍了有用的使用场景，还提及健康使用方面的改进及与专家合作提升响应能力等内容。
库克不忍了！挥刀优化苹果AI大总管
苹果官宣AI负责人John Giannandrea卸任，其领导下苹果AI团队落后同行，新版Siri推迟发布。同时，苹果从微软挖来Amar Subramanya出任AI副总裁。此外，苹果机器人技术负责人Yilun Chen跳槽特斯拉，军心涣散。
Harness Engineering: C 端 AIGC 内容生产自优化实践
文章介绍蚂蚁保保险快查深度解读页面生成系统（DIPG），它将Harness思想用于C端AIGC生产链路。DIPG采用‘离线生成+校验+刷入DB’模式，解决LLM实时生成时延和质量问题，还阐述多Agent协作、校验机制及回灌流程等。
面壁MiniCPM-SALA模型，稀疏-线性注意力，单卡吞吐百万上下文
面壁智能团队提出SALA，基于此训练的MiniCPM-SALA模型，在单张A6000显卡实现百万token超长上下文推理，训练成本降约75%。它结合稀疏与线性注意力，采用混合架构，继承权重降低成本，在长文本处理上优势明显。
千星项目LLMRouter：多模型路由，16+策略优化推理
UIUC开源智能模型路由框架LLMRouter，可自动为大模型应用选最优模型，有16+路由策略。该框架打通训练、评测等链路，解耦Route与Training模块，支持多轮协同等，还可插件式扩展。
谈一谈TP推理场景下MoE Group GEMM的优化思路
作者在使用H20测试SGLang CUTLASS MoE时，发现其在中小Batch Size场景下性能不佳。为此设计Expert Specialization方案，启动多个不同配置Kernel，依Expert计算特性选合适的。还介绍了该方案在H20和Hx00上的实现细节及性能测试结果。
Anthropic官方解密：3招上下文优化，破解Agent性能暴跌
本文是Anthropic官方文章翻译，从提示词工程拓展到上下文工程，阐述其构建方法。介绍上下文工程对构建智能体的重要性、上下文构成，还提及上下文检索、智能体搜索及长期任务的上下文工程解决方案。
英伟达震撼首测Vera Rubin，DeepSeek吞吐暴涨30倍！
英伟达公布下一代旗舰级机柜Vera Rubin NVL72片上实测数据，用DeepSeek - V4 - Pro跑任务，每兆瓦吞吐量最高升30倍、Token成本最高降35倍。还宣布Groq 3 LPX量产，推出Agent专属Vera CPU，被SpaceXAI采用。
腾讯混元AI Infra核心技术重磅开源：推理吞吐提升30%！
腾讯混元AI Infra团队开源生产级高性能LLM推理核心算子库HPC-Ops，基于生产环境痛点开发，降低底层算子开发门槛，实现显著性能突破。在真实场景下，混元、DeepSeek模型推理QPM提升，单算子性能也超越主流算子库。
AEPO：智能体熵平衡策略优化，让探索更稳，推理更深！
中国人民大学与快手团队联合提出 AEPO 算法，解决熵驱动式智能体强化学习训练不稳等问题。它设计两项核心机制，在 14 个基准上优于主流算法，在 X 等平台获高关注。