「token压缩」共找到 811 篇相关文章
Codex正式开放1M上下文！解除GPT-5.6 Sol封印，三行配置搞定
现在3行配置就能让GPT - 5.6 Sol封印解除，在Codex里用上1M上下文。不过有网友警告轻易别用，因超出默认窗口，模型消耗token速度会翻倍，且模型上下文利用能力会下降。此外，Codex确定会上Astra。
NVIDIA港大MIT联合推出Fast-dLLM v2：端到端吞吐量提升2.5倍
自回归大语言模型推理效率受限，Fast - dLLM v2 由 NVIDIA、港大、MIT 联合推出。它将预训练 AR 模型适配为能并行解码的 Block - dLLM，用约 1B tokens 微调，端到端吞吐量最高提升 2.5 倍，精度相当。
告别「边画边说」：LatentMorph 开启视觉生成隐式潜空间推理新范式
现有的文生图模型缺乏动态思考与自我修正能力，香港科技大学团队提出LatentMorph框架，将隐式潜空间推理集成到T2I生成过程中，实验显示其显著提升基座模型性能，削减推理延时与Token消耗，实现人机认知对齐。
谷歌的DeepSeek时刻：LLM推理加速被干到了8倍
谷歌TurboQuant论文介绍量化算法，能为大语言模型和向量搜索引擎大规模压缩。可将大语言模型KV缓存内存减至少6倍、加速达8倍且精度零损失，还介绍其工作原理及实验结果。
刚刚，GPT-5.4 发布，百万上下文、最强全能模型
OpenAI发布GPT - 5.4，集推理、编程等能力于一体，支持百万级上下文窗口。有三个版本，功能全面升级，如支持中途打断、电脑操作、视觉能力提升等，还更省token、少幻觉，安全机制完善，价格有调整。
相信大模型成本会下降，才是业内最大的幻觉
很多AI创业者认为模型降价能降成本、改善营收。但文章指出，成本下降仅针对老旧模型，最好模型成本大致相同，且模型token消耗激增。还探讨了AI创业商业模式，如按使用量计费、建立高切换成本、垂直整合等。
智谱开启狂飙模式！7倍提速，全球最快，旗舰模型即问即答
5月22日，智谱上线GLM - 5.1高速版API，输出速度达400 tokens/s，刷新全球大模型API速度纪录，比原版提速约7倍。该速度由GLM团队和TileRT团队联合打造，核心优化分三层推进，且是稳定可用的生产级能力。
陶哲轩经费被断供，在线发帖自证数学有用
菲尔兹奖得主陶哲轩就职的UCLA科研经费被冻结，个人研究及应用数学研究所IPAM失去资金支持，还遭网友质疑其学术成果价值。他开新帖以“压缩感知”研究为例，力证数学研究回报，并将视野扩展到AI大模型。
炸裂提速30倍！Meta提出REFRAF，无需改动模型，让RAG告别冗余与等待
近年来，RAG任务在提升模型回答质量的同时带来性能代价，Meta等团队合作提出REFRAG框架。它将无关段落压缩，引入强化学习选关键段落，实现高达30.85倍的TTFT加速，且无需改模型结构，实用性强。
OpenAI发布GPT-5.1 Codex Max，编程能力比Gemini 3更强、更持久
为换回注意力，OpenAI紧急发布GPT - 5.1 Codex Max。它在编程测试中表现优于Gemini 3 Pro，还实现24小时项目级开发。引入自动压缩与扩展推理改进，效率提升，现已多途径可用，API访问将开放。