「推理token」共找到 2499 篇相关文章
“烧掉94亿个OpenAI Token后，这些经验帮我们省了43%的成本！”
作者以月耗94亿OpenAI Token实战经历，分享优化成本经验，如选对模型、用提示词缓存、设账单预警等，降低成本43%，不过网友对此有不同看法。
SGLang × RoleBasedGroup（RBG）：打通大模型推理PD分离架构规模化落地的“最后一公里”
PD分离架构对大模型推理部署意义重大，SGLang支持该架构且性能佳。但从测试到生产落地难，存在部署、资源、可靠性等问题。SGLang开源RBG项目，结合二者为PD分离架构生产化落地提供方案。
d-Matrix用3D堆叠技术终结"内存墙"，AI推理迎来光速时代
2025年9月Hot Chips上，d - Matrix展示3D堆叠数字内存计算技术，直击AI“内存墙”难题。其产品Corsair带宽强大，新Pavehawk架构更有性能跃升，为AI推理开辟新赛道，虽面临挑战但前景可期。
网易游戏 Tmax 平台实践：基于 Fluid 的云原生 AI 大模型推理加速架构
网易游戏打造 Tmax AI 机器学习平台，但大模型推理业务规模爆发带来资源弹性等挑战。经评估，选用 Fluid + AlluxioRuntime 构建三层架构，有自动预热等配置，带来性能、成本等多方面收益。
社区供稿 | GLM-4.5技术博客：原生融合推理、编码和智能体能力
文章介绍 GLM-4.5 和 GLM-4.5-Air，二者旨在统一推理、编码和智能体能力。在 12 个基准测试中表现良好，采用 MoE 架构等技术，还开源 slime 框架。文中展示其多方面应用，并说明使用方式。
Agent Token焦虑：当每次对话都在「烧钱」，技术如何破局？| GAIR Live 029期预告
GAIR Live 029 期线上圆桌将直击 Agent Token 焦虑的底层技术逻辑，邀请技术负责人从架构重构与系统优化双重视角，拆解 Claw 类产品如何从烧钱走向省钱。探讨成本解剖、架构升维、系统优化等核心议题。
RLHF与RLVR全都要，陈丹琦团队最新力作将推理能力拓展到通用智能
普林斯顿大学陈丹琦团队发布学术成果，提出基于模型奖励思维的强化学习（RLMT）方法，弥合专门推理与通用对话能力差距，将链式思维优势扩展到更广泛范围，提升整体对话表现。
谷歌IMO金牌模型可以用了！推理性能秒了o3、Grok 4
谷歌拿下IMO金牌的模型Gemini 2.5 Deep Think已在Gemini App推出，速度更快、实用性更强。该模型仅对Ultra订阅用户开放，月费约1803元。其推理性能超o3、Grok 4，有迭代开发等优势。
浪费20亿Token之后，我做了一个帮自己定义目标的Skill。
作者在浪费20亿Token后，开源了帮定义目标的Leader.skill。它能将模糊需求转为清晰目标，适用于多模型组合。还阐述人类与Agent交互范式转变及目标定义要点，给出目标七问方法论。
最新W4A4KV4全量化框架，单卡A100大模型推理速度飙升
计算所王颖研究员团队等联合在ASPLOS 2025上发表并开源COMET框架，通过系统 - 算法协同优化，实现全4比特推理性能突破，在多方面有技术亮点，实测性能碾压现有方案且已开源。