「模型压缩」共找到 7845 篇相关文章
逼AI当山顶洞人！Claude防话痨插件爆火，网友：受够了AI废话
一个叫「caveman」的Claude Code插件在Hacker News爆火，冲破2w星。它核心是条prompt，删掉冠词等废话，号称省75%输出token。但它不压缩模型后台推理token，真实成本节省存疑。
多轮Agent蒸馏终于不翻车！港中文x通义新方法成功率暴涨18点，训练还快32%
香港中文大学联合阿里通义事业群提出TCOD训练方法，解决多轮Agent蒸馏稳定性难题。它只需对现有OPD代码做极少改动，提升了模型成功率，压缩行动步数，还减少训练时间，未来或成训练长程Agent标配。
单向VLM变双向！人大斯坦福等提出MoCa框架：双向多模态编码器
人大、斯坦福等机构提出MoCa框架，将单向视觉语言模型转化为双向多模态嵌入模型。它通过持续预训练和异构对比微调，解决传统模型局限，在多模态基准测试中表现优异，尤其小规模模型性能突出。
谷歌TurboQuant会绕过“内存墙”？这个判断有点过了｜甲子光年
谷歌发布的TurboQuant论文引发市场震动，其算法可将大语言模型推理的KV缓存大幅压缩并加速。但将其视为绕过‘内存墙’判断过度，它提升单位字节信息密度，改变边际需求曲线，代表范式转移。
清华、西交联合开源发布了Cheers : 一条更简洁、更高效的统一多模态路线
清华、西交联合开源发布CHEERS，提出面向统一多模态理解与生成的架构路线，在保持系统简洁前提下，统一理解与生成任务，继承开源预训练模型知识，在多项基准测试中表现优异，还实现4× token压缩。
Meta最新REFRAG框架引爆RAG圈！KV缓存暴降90%，速度狂飙30×
Meta推出REFRAG框架解决RAG难题。它能在不修改解码器参数下压缩上下文、复用文档向量等。实验显示，它降低KV缓存、加速TTFT，在多任务表现佳，为大模型与知识库结合提供新范式。
黑森林FLUX.2 Klein开源，亚秒级高质量图像生成和编辑，普通电脑就能跑
黑森林实验室发布开源的FLUX.2 Klein模型家族，是紧凑架构，将高质量图像生成与编辑速度压缩至亚秒级，在消费级显卡实现旗舰性能。其统一架构打破生成与编辑壁垒，还与NVIDIA合作优化。
RecGPT-阿里的LLM推荐系统落地方案
文章介绍阿里RecGPT推荐系统落地方案，包括召回和推荐可解释性两方向。召回采用三塔结构，通过挖掘用户兴趣生成商品标签提升召回多样性。还提及行为序列压缩、推荐归因等，以及大模型微调和评估方法。
重塑注意力机制：GTA登场，KV缓存缩减70%、计算量削减62.5%
GTA由多所高校联合研发，提出大模型框架，解决传统多头注意力机制弊端。通过分组共享注意力矩阵和压缩潜在值表示，削减计算量、缩减KV缓存，实验验证其性能优、效率高，虽有局限但前景好。
完成过亿融资，复旦博士要为不同端侧场景定制专属推理芯片丨对话淬思科技潘鸿洋
本文是对淬思科技创始人潘鸿洋的专访，潘鸿洋为复旦博士，淬思科技刚完成新一轮亿元融资，瞄准端侧AI推理成熟阶段的碎片化需求，主打定制专属推理芯片，采用AI原生设计流程压缩开发成本与周期，计划推进首颗商用芯片流片。