「缓存加速」共找到 698 篇相关文章
ICLR 2026！代码优化不再靠玄学：大模型真正学会“又快又准”，效率提升71.06%，加速比达6.08x
ICLR 2026顶会文章提出全新大模型代码优化方案，切入代码优化核心难题。该方案将代码优化率提至71.06%，加速比达6.08x，正确性提至74.54%，有很强工程可用性。
VLM 实现 10%的精度提高，13.1倍加速！纽约大学新算法让视觉语言模型更小、更快、更准确
纽约大学研究团队用QSVD新方法让视觉语言模型（VLM）效率飞跃，在普通GPU上实现13.1倍加速。它将Q、K、V矩阵捆绑处理，设计秩分配策略，引入量化方案，经多模型评估，展现出低硬件成本、高精度优势。
10秒视频token超5万，O(n²)跑不动？用后训练线性化框架实现1.71倍加速，推理成本大降｜CVPR'2026
视频生成进入大规模时代，但计算成本高，自注意力复杂度O(n²)跑不动。研究团队提出LINVIDEO后训练框架，无需数据和重新预训练，实现视频扩散模型线性化替换，保持生成质量，加速推理并降低成本。
Kimi开源新线性注意力架构，首次超越全注意力模型，推理速度暴涨6倍
月之暗面发布开源Kimi Linear架构，用新注意力机制首次超越全注意力模型。长上下文任务中，它减少75%的KV缓存需求，推理加速达6倍。核心创新Kimi Delta Attention有细粒度遗忘门控等特点。
吴恩达来信：利用编程智能体实现更高效开发
吴恩达认为编程智能体正加速各类软件工作，按加速程度排序为前端开发、后端开发、基础设施、研究。前端开发加速明显，后端开发有提升但幅度小，基础设施和研究方面加速有限。
【博客翻译】使用PyTorch加速生成式AI第四部分：Seamless M4T，快速优化
这是使用纯原生PyTorch加速生成式AI模型系列博客的第四部分，专注加速FAIR的Seamless M4T - v2模型。通过torch.compile + CUDA Graph，在不损失精度下实现text decoder模块2倍、vocoder模块30倍加速，端到端推理2.7倍加速。
大部分token根本不该重复计算，不止于KVCache
斯坦福研究显示，AI Agent每次调用62%内容重复，现有前缀缓存虽有优化但天花板低，阿里云数据表明多数缓存块利用率低。LMCache将缓存管理独立，解决性能问题，其CacheBlend技术复用缓存，适配多引擎和存储后端。
训练加速1.8倍，推理开销降78%！精准筛选题目高效加速RL训练丨清华KDD
清华大学THU-IDM团队与慕尼黑大学CompVis团队合作提出MoPPS框架，解决强化微调代价高问题。它精准挑题，预测难度，开销低、动态适应且平衡探索利用，在多任务表现佳，降本增效，有新范式。
端侧AI加速到来，个人隐私如何保护？
Deepseek推动端侧AI加速落地，苹果、谷歌等企业纷纷布局。不过，端侧AI在发展中面临融合不佳、数据安全等问题。阿里研究院傅宏宇提出保障数据安全的建议，监管层也出台相关法规。
AI驱动增长，国产半导体设备加速突围
2025年全球半导体设备市场在AI拉动下增长，销售额预计达1330亿美元。中国市场领跑，国产企业加速突围。AI算力、存储芯片需求及后道封装测试成增长动力，本土企业在多领域取得进展，但也面临挑战。