「显存压缩」共找到 286 篇相关文章
压缩之外，Visual Tokenizer 也要理解世界？
MiniMax和华中科技大学发布视觉tokenizer新研究VTP，引发业界热议。该研究揭示传统仅以重建为目标的视觉tokenizer缺乏高层语义表示，提出在预训练中引入语义理解，还发现Scaling Law现象，虽有争议但为研究提供新视角。
显存暴降92%！哈工大为线性注意力开辟了新道路
哈尔滨工业大学等团队发现线性注意力性能不足根源是查询范数丢失等。基于此提出NaLaFormer，在ImageNet - 1K准确率最高提7.5%，超分任务峰值内存降92.3%，为线性注意力发展开辟新道路。
Transformer与RNN合体，谷歌打下显存门槛，解锁超长上下文
谷歌论文提出 Memory Caching 技术，通过架构机制创新赋予 RNN「可生长的记忆容量」，兼顾 Transformer 与 RNN 优势，能处理更长文本、降低推理资源门槛，实验显示有良好效果。
KDD 2025 Best Paper Runner-Up | EI-BERT：超紧凑语言模型压缩框架
香港城市大学王茂林等提出 EI - BERT 框架，解决移动设备部署 NLU 模型难题。通过硬令牌剪枝、交叉蒸馏、模块化量化，实现 99.5% 压缩率。在多任务中表现出色，已在支付宝大规模应用。
从视觉压缩，到视觉记忆：MonkeyOCRv2以重建保留文档页面证据
文档视觉编码器对LLM理解和推理很重要。MonkeyOCRv2提出‘重建即文档视觉记忆’，通过多组实验验证其有效性，还发布MonkeyDoc v2数据集，推动公平比较的研究文化。
DeepSeek多模态新范式：一张图压缩7056倍，思考能力反超GPT和Claude
DeepSeek上线多模态并开源新范式技术。该研究让AI用视觉原语思考，弥合语言与视觉指代鸿沟。它构建紧凑模型架构，信息压缩率达7056倍，训练分三阶段，测试中表现出色，也存在局限。
RAE+VAE? 预训练表征助力扩散模型Tokenizer，加速像素压缩到语义提取
近期，RAE 提出以「 冻结的预训练视觉表征」作潜空间提升扩散模型性能。同期西安交大与微软亚研院提出 VFM - VAE，结合 RAE 与 VAE，能加速模型收敛、提升生成质量，展示扩散模型 Tokenizer 演化方向。
小扎“超级智能”小组第一位大佬！谷歌DeepMind首席研究员，“压缩即智能”核心人物
最新爆料，谷歌DeepMind首席研究员Jack Rae确认转投Meta，另有消息称Meta还招募了Sesame AI的ML主管。此前小扎还想斥资150亿美元收购Scale AI。小扎为组AGI团队不遗余力，推进速度快。
Skills的最正确用法，是将整个Github压缩成你自己的超级技能库。
文章指出重复造轮子不可取，Skills可将Github开源项目封装成技能库。以FFmpeg、yt - dlp等为例，介绍封装流程，还提及多场景应用，如视频下载、格式转换等，让普通人能利用开源成果。
如何在24GB显存里，塞下一个万亿参数的巨兽？KTransformers入选顶会SOSP
清华大学与趋境科技联合研发的KTransformers系统，可让消费级显卡跑万亿级参数模型，其论文入选SOSP 2025。该系统解决MoE模型本地部署难题，技术创新多，还与SGLang合作，提升硬件利用率。