「缓存加速」共找到 698 篇相关文章
ICML 2025｜如何凭「自动补全」实现100K生成3×加速？
在大模型推理复杂的当下，生成超长文本成本高。BIGAI NLCo团队提出推理加速框架TokenSwift，被ICML 2025接收。它重构传统自回归推理，解决长生成瓶颈，在多模型实验中表现亮眼。
清华SageAttention3，FP4量化5倍加速！且首次支持8比特训练
清华大学陈键飞团队提出针对BlackWell架构的SageAttention3，实现5倍于FlashAttention的推理加速，首次支持8比特训练。在多种大模型上保持端到端精度，代码将分别于6、7月开源。
无需训练的3D生成加速新思路：西湖大学提出Fast3Dcache
在AIGC浪潮中，3D生成模型虽进化快，但‘慢’和计算量大制约其应用。西湖大学AGI实验室提出无需训练、即插即用的Fast3Dcache框架，能在加速同时保持或提升模型几何质量。
震撼实锤！清华姚班校友揭「1.4×加速」陷阱：AI优化器为何名不符实？
为降低大模型预训练成本，近年新优化器频出，宣称加速1.4×到2×却难落地。斯坦福研究指出方法学缺陷，对比不同缩放范式加速差异，给出优化器设计见解，证实严格基准评测必要。
EasyCache：无需训练的视频扩散模型推理加速——极简高效的视频生成提速方案
近年来，扩散模型在视频生成领域广泛应用，但推理慢、算力消耗高问题突出。EasyCache是无需训练的视频扩散模型推理加速方案，在多模型实验中实现大幅提速且视频质量几乎无损，为技术落地提供基础。
DeepSeek V4还能更省！新工具缓存命中率高达99.82%，2折稳定到手
DeepSeek V4系列发布1个月，官方永久降价，开源社区的Reasonix项目将缓存命中率干到99.82%，能大幅降低成本。它专为DeepSeek打造，实现思路基于其缓存机制，安装使用简单。
为训推加速！全新FlashQLA注意力算子库开源
自Qwen3-Next发布，GDN成Qwen主力注意力层，随模型规模扩大开销增大。现开源FlashQLA算子库，融合优化GDN Chunked Prefill前反向算子，在NVIDIA Hopper上多场景加速，提升预训练和端侧推理效率。
OpenAI神秘项目曝光：cderGPT，用AI加速药物评估
OpenAI神秘项目cderGPT曝光，用于加速药物评估。FDA局长指出新药上市耗时长且未实现技术现代化，不过目前该项目细节未透露，有人支持用AI辅助审查，也有人担心其可靠性。
9 个加速开发者生产力的开源 AI 与 MCP 项目
Github官方精选9个开源项目，分框架与平台集成、开发者体验及AI增强编码、自动化与测试编排三大主题。各项目聚焦不同功能，如将MCP嵌入框架、语义理解辅助编码、安全执行调试等，能加速开发者生产力。
FriendliAI获2000万美元，以加速AI模型推理工作负载
专注AI推理的初创平台FriendliAI获2000万美元种子扩展轮融资，资金用于加速平台开发。其专有推理优化技术可降低模型运行成本和能耗，能为用户省90%的GPU成本，合作客户广泛。