搜索：百万Token计算

「百万Token计算」共找到 1379 篇相关文章

英伟达帮你省钱，让大模型推理「短而精」，速度快5倍

过去大模型推理追求长链思维，导致推理链长、Token消耗大、响应慢。英伟达研究院的DLER研究给出解决办法，通过强化学习优化方法让模型‘短而精’，推理长度减超70%且准确率不变，还适用于大模型。

本文是朴朴科技对云上大数据平台成本治理的阶段性总结。其开展成本治理已三年，分“降本增效”三部曲：成本发现与分析、成本优化与控制、体系化治理构建，分享经验，助力同行开展相关工作。

随着大模型训练所需计算资源爆炸式增长，微软和哈佛团队联合开源优化器Dion。它利用低秩近似和解耦动量缓冲区，避免分布式训练同步完整梯度，在集中式和分布式场景都有高效表现，性能超Muon。

阿里通义团队开源电影级视频生成模型Wan2.2，将光影、色彩、镜头语言装进模型，支持60多参数自由组合。它是业界首个用MoE架构的视频生成模型，推理省计算资源，性能超主流模型，获国外网友盛赞。

Nvidia开源OpenReasoning-Nemotron系列模型合集，采用Qwen2.5架构，基于500万条轨迹训练。评测输出长度最高64K token，多版本刷新SOTA。其‘heavy’模式有独特能力，32B版在数学与编程基准超越O3（High）。

Cursor在6月16日调整Pro计划收费模式，从请求数限制改为计算量限制，虽称优化却引发用户不满。用户发现服务缩水且沟通模糊，社交媒体上一片失望愤怒声。7月4日Cursor道歉并推出补救措施，但信任修复不易。

英伟达公布下一代旗舰级机柜Vera Rubin NVL72片上实测数据，用DeepSeek - V4 - Pro跑任务，每兆瓦吞吐量最高升30倍、Token成本最高降35倍。还宣布Groq 3 LPX量产，推出Agent专属Vera CPU，被SpaceXAI采用。

文章围绕GPU-MODE的nvfp4_gemv竞赛rank1代码展开，先介绍问题及官方baseline，后详细解读rank1代码，含数据加载、线程模型等，还剖析核心计算函数，最后总结代码在缓存控制、数据格式等方面的调优亮点。

SIGGRAPH Asia 2025将“最佳论文奖”颁给港中大与曼彻斯特大学团队研究。该研究提出全新切片计算框架，把切片生成与路径规划转化为数学优化问题，解决传统DLP 3D打印难题，还介绍了进阶策略和实验结果。

月之暗面团队回应Kimi K2 Thinking训练成本，透露用英伟达H800，GPU少但利用充分。该模型凭实力与低成本引迁移潮，还引发对闭源巨头估值反思。技术上有优化创新，团队还公开答疑。