「动态token选择」共找到 1305 篇相关文章
FlashInfer集成TensorRT-LLM cubin kernel技术分析
文章以MoE模块为例，分析FlashInfer集成TensorRT-LLM的技术。探讨如何不依赖源码用其优化内核、动态加载管理CUBIN文件，介绍集成架构、源码集成技术、CUBIN动态加载系统等内容。
30天烧掉60万亿，扎克伯格没进前250：大厂AI沦为KPI游戏
亚马逊、Meta等大厂流行用token摸鱼，员工为拉高榜单数字让AI跑不必要任务。Jellyfish数据显示烧10倍token仅换来2倍产出，成本飙升。这既扭曲生产力，又为资本开支背书。
上交大 × 华为小艺推出LoPA：7B扩散语言模型单样例1000+ tokens/s！
上海交通大学DENG Lab联合华为小艺团队提出无需训练的解码算法LoPA，配合自研的LoPA - Dist分布式推理系统，显著提升扩散大语言模型（dLLMs）的推理并行度和吞吐量，将推理效率推向新高度。
重新审视SFT的泛化能力：优化动态、数据与模型能力的条件性分析
上海人工智能实验室等联合研究质疑了‘SFT倾向于记忆，RL实现泛化’观点，指出SFT泛化是条件性现象，受优化动态、训练数据、基模型能力影响，还揭示长思维链SFT会带来安全性能退化。
DeepSeek-OCR降本增效，10×暴力压缩还能读得清
Deepseek - OCR模型发布，通过光学压缩技术解决长文本处理的计算效率问题，能控制大模型token消耗成本。介绍了其架构设计、数据引擎及训练流程，还展示其用较少token超越现有模型的能力。
逼AI当山顶洞人！Claude防话痨插件爆火，网友：受够了AI废话
一个叫「caveman」的Claude Code插件在Hacker News爆火，冲破2w星。它核心是条prompt，删掉冠词等废话，号称省75%输出token。但它不压缩模型后台推理token，真实成本节省存疑。
openJiuwen协同昇腾打造智能体「算力亲和」技术，首token时延砍半，推理存储占用下降25%
传统推理引擎难以理解 Agent 任务状态，导致推理时延久、显存占用高等问题。openJiuwen 协同昇腾打造智能体「算力亲和」技术，建立语义协同机制，优化 KV Cache 管理，提升 Agent 系统运行效率。
一百万亿Token里的AI现状：OpenRouter和a16z重磅研究带你透视AI江湖
OpenRouter和a16z发布重磅研究，用100万亿Token绘制AI实景地图。2025年推理模型崛起，开源模型流量份额攀升，编程与角色扮演需求大，还揭示了用户留存的“灰姑娘效应”等，展现多元AI世界。
AAAI 2026 Oral：明略科技开创稀疏数据「信息瓶颈动态压缩」，精度+速度双SOTA
在机器人和具身智能领域，transformer模型又大又‘重’，边缘设备难以承受。东南大学、中南大学、明略科技联合提出的CompTrack论文，创新性解决AI模型处理稀疏数据的‘双重冗余’，在3D点云跟踪任务上实现精度和速度双优。
从「记忆解题」到「深度推理」：港科大推出首个本科数学动态评测基准 UGMathBench
港科大团队发表在 ICLR 2025 的研究 UGMathBench，是首个本科数学动态评测体系。它涵盖 16 个学科领域，通过变量扰动创建多版本试题，引入创新指标评估模型推理能力，测试结果揭示了当前模型短板。