搜索：百万Token计算

「百万Token计算」共找到 1374 篇相关文章

蚂蚁开源 x SGLang Meetup技术回放解读之基于CUTE DSL的通信计算重叠算子实践

文章是对蚂蚁开源x SGLang Meetup分享的回放解读，聚焦基于CuTe DSL的通信 - 计算重叠内核实践。探讨不同通信计算重叠方案，分析在Blackwell上做GEMM + AllReduce融合算子的优势，介绍multimem指令等，还提及接入模型执行路径和性能结果。

2026年3月16日，黄仁勋在GTC演讲中称AI计算需求至少达1万亿美元，实际或更高。他回顾AI三次拐点，介绍推理时代超级计算机Vera Rubin，还发布OpenClaw等软件，成立开源模型联盟，展示各行业应用，强调共封装光学重要性。

近年来自回归训练方法成语言模型主流范式，但推理阶段计算开销大。苹果研究人员开发框架，让预训练自回归大模型多 token 预测，代码和数学任务推理加速达 5.35 倍，一般任务约 2.5 倍。

蚂蚁集团CodeFuse团队在ACL 2026主会论文中提出EGSS算法，破解Test Time Scaling困局。该算法精准识别高不确定性决策点，解决计算冗余与选择脆弱问题，在SWE - Bench - Verified上全模型提升5 - 10%。

用强化学习让LLM具备推理能力耗费颇高，计算量会二次级增长。Mila和微软研究院等团队提出马尔可夫式思考机，重构强化学习形式，让计算量呈线性，实验效果显著，还能与先进模型兼容。

加州理工学院Anima Anandkumar团队8月24日发文，用AI模型将量子化学计算复杂度从立方级压到近线性级。单块GPU就能完成含82500个电子的金属缺陷模拟，而2019年同类计算用了约7800块GPU。

文章分析Megatron 1F1B流水线并行中负载不均衡问题。通过实验发现通信时间‘一短一长’，原因是最后一个Stage计算慢致不同步，额外计算引发通信延迟，还梳理了流水线各阶段执行过程。

OpenClaw作为免费开源项目，重新定义Token消耗量级，催生‘超级Token耗散场景’，倒逼模型厂商推出‘Token Plan’。多家国产模型厂商跟进推出‘龙虾套餐’，云平台也下场布局。但OpenClaw面临配置门槛、任务稳定性和必用场景等问题。

微软CEO萨蒂亚·纳德拉在《没有生态的前沿，立不住》中提出，每家公司未来要构建人力资本与Token资本。强调Token资本构建靠学习闭环，还提出检验公司是否拥有Token资本的方法，呼吁避免价值集中到少数模型公司。

OpenAI与甲骨文官宣签下3000亿美元云计算合同，消息一出甲骨文股价飙升35%。这笔交易刷新云计算领域记录，其将助力OpenAI的“Stargate”计划，虽能耗高，但也会带来经济回报，还改变了云计算市场格局。