「内存池」共找到 235 篇相关文章
DiffMoE：动态Token选择助力扩散模型性能飞跃，快手&清华团队打造视觉生成新标杆！
清华大学和快手可灵团队推出DiffMoE，通过创新的动态token选择机制和全局token池设计，拓展了扩散模型的效率与性能边界。实验表明，DiffMoE在多方面超越现有模型，未来集成先进技术或有新增益。
万字长文！大模型(LLM)推理优化技术总结（非常详细）
文章聚焦大模型推理优化技术，介绍推理过程分预填充与解码阶段，还阐述模型并行、注意力机制优化、模型优化及服务技术等，如多查询注意力减少内存，FlashAttention 优化计算顺序。
长上下文不再难：KV Cache 全生命周期优化实战
长上下文大语言模型发展带来计算和内存挑战，现有基准测试多忽视 KV 缓存完整生命周期。微软姜慧强在 AICon2025 分享 SCBench 工具，梳理推理优化方法，介绍 MInference 等，还提出 Tri - shape 方法等成果。
1.58bit不输FP16！微软推出全新模型蒸馏框架，作者全是华人
微软推出蒸馏框架BitNet Distillation，实现几乎无性能损失的模型量化。它含三阶段，经实验在多下游任务表现近全精度模型，降内存开销、提推理速度，作者全是微软研究院华人。
万帧实时！流式3D重建天花板，被国产开源模型打破了
蚂蚁正式开源 LingBot-Map，这是基于几何上下文 Transformer 的纯自回归流式 3D 重建基础模型。它能在恒定内存下实现超万帧长视频实时三维重建，处理速度约 20 FPS，在多基准测试中超越现有流式方法。
“养团队造语言”时代终结？Rust传奇人物用Claude造出新开源编程语言，AI写下万行代码：大模型上限很高，我学会了高效用它！
Rust核心贡献者Steve Klabnik借助Claude写了新语言Rue并开源。他曾是AI怀疑论者，现认为大模型在编程中‘真的有用’。Rue目标是不依赖垃圾回收提供内存安全，使用体验更顺手，开发深度依赖Claude。
独家对话希捷科技Jason Feist：AI时代，企业正在“删除删除键”｜甲子光年
本文是「甲子光年」对希捷科技云存储业务高级副总裁杰森·费斯特的独家对话。费斯特指出，AI 基础设施正从计算、内存转向存储，企业倾向长期保存数据，高容量硬盘重要性凸显。他还探讨了存储系统变化、技术创新等问题。
“像把大象塞进冰箱一样困难”，端侧大模型是噱头还是未来？
InfoQ《极客有约》X AICon 直播聚焦端侧大模型，探讨其落地挑战与破局思路。专家指出端侧部署有隐私、可用性等优势，但面临内存、精度等难题。华为、支付宝等分享方案，还探讨应用场景、商业模式及未来趋势。
谷歌Ironwood架构TPU v7：用AI造AI，撼动英伟达芯片帝国
11月25日谷歌云发布第七代定制芯片Ironwood，由AlphaChip设计。它以9.6 Tb/s光互联带宽和1.77 PB共享显存池重构大模型推理硬件基准，挑战英伟达芯片地位，展现AI算力竞争新趋势。
代码怎么才能跑的更快
文章围绕让代码跑更快展开，先介绍调整源代码的方法，如降低循环开销、去除内存引用等，又阐述使用硬件加速指令，像用 SIMD 函数、避免分支语句等，还提及多核并行和分析瓶颈等要点。