「显存压缩」共找到 286 篇相关文章
小模型推理极限在哪里？微博开源3B小模型，比肩顶级闭源
微博新开源的VibeThinker - 3B小模型，将特定能力维度性能推向极限。它在数学竞赛、编程等可验证推理基准上表现优异，成绩直逼顶尖大模型。其训练流程层层叠加，还提出参数压缩 - 覆盖假说。
Meta 新成立超级智能实验室，让大模型RAG推理速度飙升30倍
Meta新成立超级智能实验室（MSL），首篇论文REFRAG将RAG推理速度提升30倍以上。它先把上下文压缩成摘要再解码，减少计算量和延迟，在多任务测试中表现出色，为大模型部署提供实用方案。
清华新框架让大模型学会「精读略读」！实现12倍端到端加速，基准评分翻倍
清华等团队提出全新框架RAM，受人类阅读认知启发，将“精读+略读”混合策略引入上下文压缩，突破现有方法效率瓶颈，在多任务上表现出色，实现12倍端到端加速，为长上下文LLM部署提供新范式。
Claude Code 强大的秘密究竟是什么？
Claude Code 强大源于其强大模型基础、丰富实用的内置工具、不压缩上下文信息及无 IDE 包袱等优势。相比之下，OpenAI 的 Codex 因模型能力、强化训练不足等落后，Anthropic 还靠亏本推广积累数据。
jina-embeddings-v5-omni 发布！全模态向量小模型
Jina AI发布`jina-embeddings-v5-omni`，将`v5-text`能力拓展到多模态。`v5-omni-small`参数量小却追平LCO - 7B，在多模态评测中表现优异，但视频是短板。其采用‘冻结 + 投影’架构，训练快、省显存。
谷歌TurboQuant会绕过“内存墙”？这个判断有点过了｜甲子光年
谷歌发布的TurboQuant论文引发市场震动，其算法可将大语言模型推理的KV缓存大幅压缩并加速。但将其视为绕过‘内存墙’判断过度，它提升单位字节信息密度，改变边际需求曲线，代表范式转移。
Transformer创新架构SALA：上下文更长，推理更快
面壁智能发布行业首个大规模训练的稀疏 - 线性注意力混合架构 SALA 及文本模型 MiniCPM - SALA。该架构降低推理开销与显存占用，MiniCPM - SALA 在长文本处理及推理上表现出色，还发起大奖赛探索性能极限。
Mamba 架构实现推理性能超 Gemma3-27B！推理模型开始迈入「无注意力」时代
PromptCoT - Mamba是首个具解码显存常量等特性且推理能力强的模型。当前推理大模型中注意力机制有局限，PromptCoT - Mamba实现无注意力推理，在多评测集超Transformer等模型，为无注意力推理生态奠基。
ICML 2026 | 只用少量Thinking Tokens，大模型依然能深度思考
近年来，CoT 推理成为提升大模型复杂问题求解能力的重要路径，但带来效率问题。浙江大学等团队提出 Heima 框架，将冗长 CoT 压缩为少量 thinking tokens，在减少 token 数的同时保留推理能力，已被 ICML 2026 接收。
一句话生成任务专属LoRA！Transformer作者创业公司颠覆LLM微调
Transformer作者之一创立的SakanaAI推出Text-to-LoRA（T2L），简化模型适配流程，省却繁琐微调。T2L参数压缩率达80%仅降1.2%准确率，零样本场景平均准确率78.3%超现有SOTA方法，开启“一句话定制模型”时代。