「动态token选择」共找到 1314 篇相关文章
腾讯张正友：具身智能必须回答的三个「真问题」
7月27日，腾讯发布具身智能开放平台Tairos。发布会后，腾讯张正友剖析战略选择背后的三个核心问题：架构上主张分层架构；认为具身智能第一性原理是身脑融合；强调要为长远目标放弃短期商业利益。
南大周志华团队最新力作：一个算法通吃所有，在线学习迎来新范式？
世界是动态变化的，AI 模型需具备在线学习能力，领域提出适应性遗憾值指标。现有算法通用性不足，南京大学周志华团队研究具有双重自适应性的通用算法，提出元 - 专家框架等，还研究了在线复合优化问题。
苹果向英伟达生态妥协了！MLX框架主动适配CUDA
苹果特意为端侧AI模型训练推出的MLX框架，主动增加了CUDA支持。因CUDA在AI开发领域占主导，且生态强大，苹果此举是借力英伟达生态、扩大自身影响力的战略选择，也避免侵权。
一种基于滑动层合并的高效深度修剪大模型的方法
文章指出深度修剪可加快推理速度，但直接丢层会降低性能。为此提出滑动层合并法，根据相似度阈值融合连续层，简化结构且保持性能。实验显示该方法优于现有技术，还揭示了与宽度修剪结合的潜力。
万字长文！大模型(LLM)推理优化技术总结（非常详细）
文章聚焦大模型推理优化技术，介绍推理过程分预填充与解码阶段，还阐述模型并行、注意力机制优化、模型优化及服务技术等，如多查询注意力减少内存，FlashAttention 优化计算顺序。
10% KV Cache实现无损数学推理！这个开源方法解决推理大模型「记忆过载」难题
推理大模型推理时易现冗余问题，R-KV开源方法登场，显存降90%、吞吐提6.6倍、准确率达100%。它通过实时对token排序解决冗余，还经多步骤压缩KV缓存，性能测试表现出色，适用多场景。
突破传统检索瓶颈！阿里通义实验室发布 WebDancer，开启多步推理智能体新范式!
在信息爆炸时代，传统检索技术缺乏动态决策能力，难以满足多步推理需求。阿里通义实验室发布的 WebDancer 基于 ReAct 框架，通过四阶段构建，在测试中表现优异，未来规划拓展工具生态、突破任务边界等。
ACL2025 | 抓出0.1%的捣乱分子压缩方法OTT：近乎无损 超越KIVI，内存减6.4倍 吞吐量提2.3倍
LLM生成文本时KV Cache内存占用高，限制模型批量处理能力。论文提出OTT方法，动态追踪异常令牌单独高精度保存，其余压缩。实验显示，它准确性高、效率好，不过在极短文本等场景有局限。
国内“内卷”没用，企业怎么靠AI出海获利？
InfoQ《极客有约》X AICon 直播探讨中国技术出海破局增长。嘉宾认为企业要判断国内经验能否迁移海外，还分享出海成功案例，给出战略选择建议，如先欧美后国内等，还提及验证产品的关键指标。
低延迟、高吞吐，LLM优化与高效推理引擎综述
LLM计算成本高，用户要低延迟，企业要高吞吐。工程师开发优化技术，如动态批处理、KV缓存、模型量化。论文对比25款推理引擎，还探讨了多模态支持、手机端推理、新型架构支持等进化方向。