「token熵分布」共找到 782 篇相关文章
100万亿Token揭示今年AI趋势！硅谷的这份报告火了
OpenRouter和a16z联合发布《State of AI：An Empirical 100 Trillion Token Study with OpenRouter》，基于100万亿Token分析模型真实使用情况，揭示2025年AI发展趋势，如开源模型崛起、推理模型成新范式等。
罗福莉：Claude订阅封杀龙虾背后，真正的出路不是更便宜的token
Anthropic宣布Claude Pro和Max订阅用户不得将额度用于第三方Agent框架，引发各方反应。Xiaomi MiMo大模型负责人罗福莉指出，当前token计费模式难应对挑战，需更优算力使用方式，还介绍了小米MiMo Token Plan。
号称1200万token上下文的模型来了，数据亮眼但疑点重重
当地时间5月5日，Subquadratic公司推出模型SubQ，称是LLM智能重大突破，有1200万token上下文。数据亮眼，如在1M token场景比FlashAttention快52倍等，但也引发质疑，有人推测是对开源模型微调，官方未公布详细模型卡。
Reasoning模型在RL下的探索欲望急速下降问题：探索熵机制
论文研究发现大模型经强化学习训练解题时，会出现模型探索欲望急速下降的熵崩溃现象，如训练初期策略熵断崖式下跌。对此进行规律分析、追根溯源，提出破解方法，研究对AI训练范式变革有重要意义。
10行代码，AIME24/25提高15%！揭秘大模型强化学习熵机制
来自多机构的研究者揭示大模型强化学习中熵变化机制。发现策略熵在训练中急剧下降致性能停滞，提出 Clip - Cov 与 KL - Cov 两种正则化技术调控高协方差标记，遏制熵塌缩，在部分数据集上性能提升显著。
简单即强大：全新生成模型「离散分布网络DDN」是如何做到原理简单，性质独特？
本文作者杨磊介绍全新生成模型离散分布网络DDN，它建模目标分布机制简洁独特，有零样本条件生成等特性。文中详述其原理、网络结构、损失函数，还展示实验效果，最后给出未来研究方向。
SGLang 的 DeepSeek-V4.1 Flash Day 0 优化实录：4×B300 上 BS=1 达到 764 tokens/s
本文是SGLang团队的DeepSeek-V4.1 Flash Day 0优化实录，详解了架构适配、KV cache压缩、kernel优化到DSpark适配全流程，公开4×B300 GPU实测吞吐数据，附复现代码与步骤
Meta新研究：字节模型蒸馏后，天花板破了
本文介绍Meta FAIR与华盛顿大学合作的最新研究，针对传统大模型蒸馏Token候选空间大、存储成本高的痛点，提出字节级蒸馏方案，验证其可突破Token天花板提升模型能力上限。
感谢 OpenClaw，国产大模型终于知道怎么挣钱了
OpenClaw作为免费开源项目，重新定义Token消耗量级，催生‘超级Token耗散场景’，倒逼模型厂商推出‘Token Plan’。多家国产模型厂商跟进推出‘龙虾套餐’，云平台也下场布局。但OpenClaw面临配置门槛、任务稳定性和必用场景等问题。
逐个token太慢！大模型原生并行出token，CMU、英伟达新作Multiverse
卡耐基梅隆大学（CMU）和英伟达研究者提出Multiverse，这是能实现原生并行生成的新型生成模型。它解决了现有并行生成模型缺乏连贯性等问题，通过多方面协同设计构建推理模型，还开源了生态系统。