「百万Token计算」共找到 1370 篇相关文章
32k微调处理百万Token：21倍的推理加速，10倍的峰值显存节省，实现恒定内存消耗
现有大模型处理超长文档易内存爆炸、计算崩溃。阿里巴巴未来生活实验室推出CoMeT架构，有双轨并行记忆系统，能恒定内存、线性时间处理文本，在基准测试超主流方法，实现21倍推理加速和10倍显存节省。
大模型“记性差一点”反而更聪明！金鱼损失随机剔除token，让AI不再死记硬背
马里兰大学等团队提出金鱼损失法，训练时随机剔除部分token，让模型不逐字记内容，仍学语言规律。实验显示，LLaMA - 2用该方法后记忆内容减少，下游任务性能影响小。
卡帕西点赞Transformer内置计算机！每秒3万Token吞吐，拿下世界最难数独
当前大模型推理顶尖但精确计算不足，Percepta团队在Transformer权重里内嵌可执行程序，通过2维注意力头设计提升推理效率，能在普通CPU上实现每秒3万+Token的流式输出，还精确求解了世界最难数独。
黄仁勋凌晨炸场：6G、量子计算、物理AI、机器人、自动驾驶全来了！AI芯片营收已达3.5万亿｜2025GTC超全指南
美东时间10月27日英伟达GTC大会开幕，黄仁勋演讲涉及6G、量子计算等热词。官宣与诺基亚合作建6G AI平台，还投资10亿美元。此外，英伟达AI芯片订单总额达5000亿美元，股价创新高。黄仁勋还阐述AI是新计算方式。
超越免训练剪枝：LightVLA引入可微分token剪枝，首次实现VLA模型性能和效率的双重突破
文章介绍LightVLA框架，它是用于提升VLA推理效率和性能的视觉token剪枝框架。针对VLA模型计算开销大、推理延迟高问题，提出两大创新，在LIBERO实验中性能超经典模型，还实现推理加速。
1.8亿token，Clawdbot是这么吞掉的~
截止发文，开源AI Agent项目Clawdbot（已更名OpenClaw）超134k Star，其吞噬token特性引关注。文章从Code层面拆解高Token消耗根因，分析难以避免的问题，还给出控制Token账单的方法。
扎克伯格官宣：要造普罗米修斯计算集群
扎克伯格为实现超级智能目标，打造顶尖团队，投入数千亿美元算力。Meta 有望成首个让超 1 吉瓦超级计算集群上线的实验室，正构建数个多吉瓦计算集群，如 2026 年上线的‘普罗米修斯’。
压缩之外，Visual Tokenizer 也要理解世界？
MiniMax和华中科技大学发布视觉tokenizer新研究VTP，引发业界热议。该研究揭示传统仅以重建为目标的视觉tokenizer缺乏高层语义表示，提出在预训练中引入语义理解，还发现Scaling Law现象，虽有争议但为研究提供新视角。
CNCF 孵化用于 Kubernetes 边缘计算的 OpenYurt 项目
云原生计算基金会（CNCF）宣布 OpenYurt 加入其孵化项目名单。该开源平台由阿里巴巴 2020 年创建，将 Kubernetes 扩展到边缘计算环境，保持与上游 API 兼容，能减少延迟、提高可靠性。
Meta&CMU：Token级LLM协同路由新范式
Meta AI、CMU等联合推出FusionRoute，是让多个大模型在token级协作的新范式。它能在每个token位置精准选专家，自带“急救包”。经实验验证其高效，也指出了待研究的方向。