「Token优化」共找到 1812 篇相关文章
正交化之外是什么？微软等提出ARO优化器：训练提速1/3，揭示矩阵优化新「蓝海」
微软研究院联合多校发布论文，提出新优化器 ARO。它将梯度旋转作为原则，能让大模型训练提速约 1/3，比 Muon 高效 10% - 15%，还能全模型优化，揭示了矩阵优化新方向。
大模型 Token 究竟是啥：图解大模型Token
文章详细解释大模型Token概念，指出分词器会把文字切成Token，不同分词器切分结果不同。还介绍分词器的分词方法，通过统计文字出现频率打包成Token并编号，不同模型切分结果有差异。
Agent Token焦虑：当每次对话都在「烧钱」，技术如何破局？| GAIR Live 029期预告
GAIR Live 029 期线上圆桌将直击 Agent Token 焦虑的底层技术逻辑，邀请技术负责人从架构重构与系统优化双重视角，拆解 Claw 类产品如何从烧钱走向省钱。探讨成本解剖、架构升维、系统优化等核心议题。
Qwen&清华团队颠覆常识：大模型强化学习仅用20%关键token，比用全部token训练还好
Qwen与清华LeapLab团队研究发现，大模型强化学习训练推理能力时，仅20%高熵token就能撑起效果，甚至超全部token训练。团队用此在Qwen3-32B创造新SOTA记录，还探讨了强化学习的相关特性。
30天狂刷60万亿Token，光“榜一”就烧掉140万美元！Meta员工搞出“AI Token排行榜”，结果小扎连前250都进不了？
Meta员工开发“Claudeonomics”仪表盘统计员工AI Token使用量，引发“Tokenmaxxing”风潮，上线两天因数据“外泄”下线。30天内全公司Token使用超60万亿，“榜一”花超140万美元，扎克伯格未进前250。
烧Token成KPI，8.5万Meta员工狂刷60万亿Token，争榜一大哥
硅谷兴起“tokenmaxxing”，将token使用量作为生产力基准和竞争指标。Meta超8.5万员工参与烧token竞赛，30天消耗超60万亿。国内阿里、腾讯也有相关动作，科技大佬推波助澜，Anthropic年化收入破300亿美元。
浙大联合阿里云发布首篇 Token Economics 综述 ：用经济学重新理解 LLM Agent 的 Token 世界
浙江大学联合阿里云发布综述论文，提出Token Economics框架，从经济学视角理解LLM Agent中Token使用与资源分配。梳理关键问题，构建分类体系，还指出未来发展趋势与新兴机会。
推翻「预测下一个token」范式！微信AI新研究：把token压缩成连续向量更具性价比
微信AI和清华团队提出新范式CALM，把token打包成连续向量，让大模型从预测下一个token转变为预测下一个向量。实验表明它能减少生成步骤，在平衡性能和计算成本时性价比更高。
MiniMax海螺视频团队首次开源：Tokenizer也具备明确的Scaling Law
MiniMax海螺视频团队首次开源，揭晓视觉分词器难题答案。其推出的VTP框架可提升模型性能，解决传统Tokenizer缺陷，还展示了Tokenizer的Scaling Law，为行业提供新路径。
原来Scaling Law还能被优化？Meta这招省token又提效
2017年《Attention Is All You Need》提出的Transformer是主流语言模型基础范式。Meta新论文提出旋转不变型三线性注意力机制，证明其表现能改变Scaling Law系数，还证实2 - simplicial Transformer在有限token预算下更优。