「推理缓存优化」共找到 3038 篇相关文章
苹果出手！改进GRPO，让dLLM也能高效强化学习
苹果研究团队针对扩散语言模型（dLLM）在编码任务中表现不明的问题，基于7B级代码生成MDM DiffuCoder展开研究，定制优化GRPO提出coupled - GRPO算法，填补开源dLLM训练和推理机制空白。
让VLA真正跑上机器人：北大团队开源Jetson-PI，Jetson Orin控制频率提升8.66倍
文章聚焦让VLA模型在机器人上高效运行难题。北大等团队提出Jetson - PI方案，从异步推理算法等三层面优化，在Jetson Orin上控制频率提升8.66倍，推动具身智能向工业应用跃迁。
视频世界模型跑长序列不「崩」了！用光流约束+历史记忆+多步训练，让动态场景稳如磐石
现有视频世界模型在长时间交互中易出现运动不合理与场景崩坏问题，核心原因是误差累积。MagicWorld提出面向长时稳定性的交互式建模框架，通过光流约束、历史缓存检索和多步聚合训练，有效缓解误差累积。
The Batch: 882 | Qwen3-Next 提速
阿里巴巴对开源权重模型 Qwen3 全新升级，发布 Qwen3 - Next - 80B - A3B 的 Instruct 和 Thinking 版本权重。其融合新研究成果，推理能耗低、速度快，还优化架构和训练方法提升效率与稳定性。
AI浪潮之下：存储来到聚光灯下
AI浪潮下，行业对存储设备重视上升。其根因是AI业务刺激，数据量增长且推理业务有新需求。信通院报告显示我国存力结构优化，国内厂商迎来机会，平头哥镇岳510主控芯片表现出色，生态建设也在推进。
提示工程实战指南：从Zero-Shot到Graph Prompting，7大核心技术全解析
随着大型语言模型发展，提示工程成关键技能。文章介绍零样本提示、少样本提示等七种提示优化模式，分析适用场景、优缺点，还给出示例，最后总结各技术适用场景及最佳实践。
内存股集体大跌，原因竟是谷歌这篇一年前的论文
美国内存股集体暴跌，诱因是谷歌新博客介绍一年前公布的技术 TurboQuant。它是压缩算法，可大幅减少 LLM KV 缓存内存占用、提升速度且精度零损失，有望打乱市场对内存芯片增长预期。
GPT-5通过“哥德尔测试”！独创性解决博士生都得花几天时间的开放数学问题
最新论文中，研究人员让GPT - 5挑战5个未解决的优化猜想，它解出3个，还对一题给出不同有效证明方案。测试题需博士水平研究者花几天完成，研究还“挑衅”了陶哲轩对大模型数学能力的印象。
万卡时代，企业需要怎样的算力集群？
过去两年，AI算力需求跃升，消耗从训练主导转向推理驱动。企业算力需求有突发性等特点，智算集群是关键方案。InfoQ联合腾讯云发起直播探讨，还介绍了算力供给缺口、集群构建交付、性能优化及演进方向。
梳理SGLang中DP Attention及其Padding问题
作者梳理SGLang中DP Attention及其Padding问题。介绍DP Attention背景、流程，指出padding分max和sum模式，旧版sum padding浪费计算、影响cuda graph使用，v0.4.10后有优化，max padding仍待完善。