「显存压缩」共找到 303 篇相关文章
杀疯了！单卡4090跑通全量微调，面壁1B级多模态性能怪兽硬刚大厂
面壁智能推出MiniCPM-V 4.6，参数约1B，性能和推理效率出色。它在多模态任务综合能力、推理速度上领先竞品，靠ViT架构改造和4倍/16倍混合视觉Token压缩实现创新，有工业验证，对开发者和普通用户意义大。
通过零开销逐层权重卸载技术将SGLang Diffusion wan2.2的推理速度加速60%
文章介绍在优化SGLang对Wan2.2视频生成模型支持时，发现双Transformer架构下第1步和第19步推理慢的问题。通过零开销逐层权重卸载技术，将整体推理速度提升60%，还突破显存墙，且该优化可扩展到其他模型。
ICML 2026前瞻：投稿翻倍背后，机器学习正在换挡
第43届国际机器学习大会（ICML 2026）7月6 - 11日将在韩国首尔举行，主题为‘Machine Learning for the Real World’。今年投稿量翻倍，接收率26.6%，还做了两项制度调整。论文反映出LLM推理、AI安全、模型压缩等趋势，中国研究者表现亮眼。
字节Seed实习生曝DeepSeek-V4技术缺陷：长文本检索陷入“周期性盲区”
字节Seed团队联合多校研究，发现DeepSeek-V4的分块KV缓存压缩架构存在长文本检索周期性盲区，不同Token位置检索准确率落差最高超40个百分点，揭露了传统长文本评测的盲区，DeepSeek已在V4.1改善但未完全消除缺陷。
从傅盛的龙虾到汗青的加速主义，AIFUT大会Day1下午场总结都在这了。
AIFUT大会第一天下午场信息密度大。傅盛称龙虾是工具的AGI时刻；特效小哥008认为AI不替代人类但可能替代工作；辩论探讨教用AI能否教会；朱广翔说程序员岗位将减少，泛创造者会增加；李继刚指出人不可压缩的只剩体验；赵汗青探讨慢的东西如何存活。
一万字Jev 工程实践长文：把 Agent 的“判断题”从大模型里拆出来
本文是一万字Jev工程实践长文，作者结合自研落地Demo，拆解Jev核心设计逻辑，讲解如何将Agent中高频封闭的判断任务从大模型生成链路拆分，解决Agent上下文膨胀痛点，分享工程实现与选型思路。
Fable 5被网友薅出省钱神招！最高减70%！
网友发现把Fable 5上下文转成图片，让模型通过OCR读取，token输入成本最多省70%。方法pxpipe在GitHub获3000+STAR，本质是本地代理，还引出谷歌老论文及DeepSeek - OCR相关技术。
突破Agent长程推理效率瓶颈！MIT&新加坡国立联合推出强化学习新训练方法
AI Agent处理复杂任务时显存、算力问题凸显，MIT和新加坡国立大学联合提出MEM1框架。它基于强化学习，让智能体学会管理记忆，实现近似常量级显存开销，在多方面表现超越大模型。
MOE RL实战：统一FP8全流程训练
SGLang RL团队等联合完成工作，实现RL中全流程FP8训练与采样。介绍FP8训练硬件基础、格式、scale选择等，指出训练难点，分析KL Loss异常归因，验证其在MoE模型RL应用效果，还探究模型规模对训推不一致性的影响。
超越MLA！新架构MLRA百万token，解码最高2.8倍速 | ICLR'26
大语言模型处理长文本时，自回归生成受限于显存带宽。为减少KV缓存开销，业界尝试多种方法，但MLA有缺陷。宾夕法尼亚州立大学等研究人员提出MLRA，拆分KV缓存为四个并行分支，降低显存占用，实现4路张量并行，性能更优。