「省Token策略」共找到 1569 篇相关文章
黄仁勋 GTC 2026 演讲实录：所有SaaS公司都将消失；Token成本全球最低；“龙虾”创造了历史；Feynman 架构已在路上
北京时间2026年3月17日，英伟达CEO黄仁勋在GTC演讲，展示AI“全家桶”。他回溯CUDA 20年，介绍数据处理新软件库，还提及AI原生企业爆发、Token成本优势、Vera Rubin平台等，强调英伟达在AI领域的全面布局。
NeurIPS 2025 | 中科大、港中深、通义千问联合发布CoRT：仅30个样本教会大模型高效推理，token消耗降低50%
大型推理模型在精确数学计算上存在问题，如认知冲突、行为低效、数据稀缺。中科大、港中深、通义千问联合推出CoRT框架，用创新数据合成与多阶段训练，提升模型推理能力和效率，成果已开源。
细粒度视觉推理链引入数学领域，准确率暴涨32%，港中文MMLab打破多模态数学推理瓶颈
香港中文大学MMLab团队发布MINT - CoT视觉推理方案，解决多模态数学推理难题。它引入特殊Interleave Token，构建专属数据集，采用三阶段训练策略，实验效果全面超越现有方法。
OpenClaw 闭门局：和 30 位创业者一起聊聊，真正值得关注的 Agent 生态位在哪？
OpenClaw带火了Agent，带来整个Agent生态重建机会。在第四期AI产品市集Meetup上，30多位创业者探讨创业机会，涉及Token消耗、支付、硬件、记忆等方面，还讨论了创业策略。
AI Infra入门干货总结：大模型是如何高效推理的
作者深入研读vLLM源码，以Llama 3为例，聚焦Decoder-Only架构LLM，介绍推理各环节及张量维度变化，讲解连续批处理和Paged Attention概念，还阐述推理流程、采样策略等，最后总结相关拓展内容。
Cloudflare 用 Rust 重写核心系统：CDN 性能提升 25%，响应时间缩短 10 毫秒
Cloudflare 宣布用 Rust 重写核心子系统，响应时间缩短 10 毫秒、性能提升 25%。基于代理框架 Oxy 构建 FL2，创建中间层让 Rust 模块在旧系统运行，还制定测试发布策略及回退机制。
图解Vllm V1系列6：KVCacheManager与PrefixCaching
文章聚焦vllm v1，阐述调度器取请求时判断设备有无充足空间做推理的问题，涉及KVCacheManager与Prefix Caching。前者管理请求和块，后者通过找最长一致前缀节省显存，还介绍块分配释放策略与流程。
华为 IJCAI 2026 论文盘点：从「规模密度」转向「设计密度」
IJCAI 2026将召开，AI算力成本高，参数扩张边际收益低，技术创新逻辑转向‘用得更省’。华为四篇被收录论文，用精巧架构和训练策略，在四方向展现系统化工程能力，提供技术转型路径。
腾讯与中科院联合提出R-4B，一个能自动决定是否思考的多模态大模型
多模态大语言模型“始终思考”模式有缺陷，腾讯混元团队与中科院自动化所联合提出R - 4B，通过双模式退火训练和双模式策略优化实现自动思考，在多评测中达SoTA，省资源且效果好。
推理快30%，性能超过千亿参数模型，15B模型Apriel-1.6重新定义端侧推理
ServiceNow人工智能团队发布的Apriel-1.6-15b-Thinker，以150亿参数体量，多模态推理能力强，推理Token消耗降超30%。它在AI分析指数成绩佳，优化计算成本，还介绍了训练策略与多维度性能实测情况。