「显存压缩」共找到 303 篇相关文章
Tair 短期记忆架构实践：淘宝闪购 AI Agent 的秒级响应记忆系统
本文从淘宝闪购与千问合作的‘一句话点外卖’项目出发，介绍 Tair 在 AI Agent 记忆管理中的数据模型设计、压缩策略与并发控制等关键实践，展示其在低延迟、数据建模、并发安全和弹性抗压等方面的能力。
56倍加速生成式策略：西交大提出EfficientFlow，迈向高效具身智能
生成式模型在机器人和具身智能领域面临训练依赖大量数据、推理慢的问题。西安交通大学团队提出EfficientFlow，融合等变建模与高效流匹配，提升数据效率，压缩推理迭代步数，在多基准实现SOTA，推理提效显著。
ICML 2025 | M+框架来了，增加LLM隐空间记忆，不再受上下文窗口限制
本文提出M+长期隐空间记忆扩展框架，在MemoryLLM之上，将8B级模型有效记忆跨度从不到20k提升到160k+，显存占用不变。它解决了现有记忆模型冗余、冲突难解等问题，为下一代语言模型提供支撑。
万字长文！大模型LLM推理优化技术总结
文章围绕大模型LLM推理优化技术展开，先介绍LLM推理各阶段、批处理、KV缓存等概念及内存需求，再阐述模型并行、注意力机制优化、模型优化和模型服务等技术，如Pipeline并行、MQA、量化、动态批处理等。
ICML 2025 Spotlight｜华为诺亚提出端侧大模型新架构MoLE，内存搬运代价降低1000倍
华为诺亚和北大研究人员提出端侧大模型新架构MoLE。它解决传统MoE显存开销大、传输延迟高问题，推理时将专家输入改embedding token，用查找表替代矩阵运算，实验显示性能与MoE相当，大幅降推理延迟。
中科大团队把会「倒推」的世界模型塞进了机器人，成立三个月拿下数千万融资！
本文报道中科大团队创办的白泽通境，推出具备溯因能力的世界模型AWM，自研端侧推理引擎BAIZ-RUN，可将世界模型压缩部署到机器人端侧，已完成多个工业场景验证，公司成立三月即获数千万首轮融资。
因果发现大模型迎来「理论破局」： DAG-FM 破解异质机制下的因果图识别与涌现难题 | GAIR Paper 116
浙大、清华与稳准智能联合发布因果发现大模型DAG - FM，解决了现有模型缺乏理论基础、易产生非法环路和显存爆炸问题。它在理论上证明因果图可识别，架构上避免环路，处理数据能力强，还将推进特定领域预训练。
多轮Agent蒸馏终于不翻车！港中文x通义新方法成功率暴涨18点，训练还快32%
香港中文大学联合阿里通义事业群提出TCOD训练方法，解决多轮Agent蒸馏稳定性难题。它只需对现有OPD代码做极少改动，提升了模型成功率，压缩行动步数，还减少训练时间，未来或成训练长程Agent标配。
北大提出首个复数大模型，2比特量化，推理仅加法，可手机部署！
北大团队提出iFairy方案，将模型权重量化到复数集合，用2比特表示，压缩至原本1/8。推理仅需加减或交换数据位置，成本更低。Transformer架构“复数化”，iFairy模型PPL降10%，性能反超全精度，相关成果已开源。
单机狂飙4万亿参数，国产AI「四大天王」首次合体！这台超节点鲨疯了
国产「四大开源天王」可在单机运行，背后是「元脑SD200」超节点。它有超大显存、高速互联域和超强算力，支持64路本土GPU且可商用。浪潮信息以开源为战略加速大模型商业化落地。