搜索：推理缓存优化

「推理缓存优化」共找到 3050 篇相关文章

T-PAMI｜中国科大、合工大等提出CAPER++：让关节物体位姿感知真正迈向「又快又稳」

在具身智能发展下，关节物体位姿感知难题待解。中国科大、合工大等团队提出 CAPER++ 框架，从关节驱动视角建模，将位姿学习拓展至 SE (3) 流形切空间，实现端到端推理，兼顾精度、鲁棒性与实时性。

LM Studio宣布支持基于MLX框架在Mac上运行阿里Qwen3-Next 80B模型。该模型虽总参数量达800亿，但每次推理仅激活30亿。第三方评测显示其4bit量化运行效果好，不过实现GGUF格式支持尚需时间。

文章深入解析TileLang核心编程抽象，介绍写kernel的方式，阐述TileLang三层抽象特点及适用场景，展示JIT工作流、接口和执行后端，还提及性能优化、基准测试、正确性校验，最后用GEMM示例对比三层抽象差异并给出使用建议。

文章聚焦异构算力技术架构与核心组件，解析主流AI芯片特点、国产芯片技术路线；介绍高速互联技术、网络拓扑结构及优化方法；阐述大模型存储需求、分布式存储技术及数据预处理与加载技术，为AI计算提供全面方案。

2025年8月OpenAI释出gpt-oss-20b与gpt-oss-120b两个开源权重模型。文章梳理了从GPT - 2到gpt - oss的技术演进，拆解关键创新点，对比了与Qwen3的差异，介绍训练推理细节、实测体验及与GPT - 5跑分对比情况。

世界计算机三大顶会之一CVPR 2025落幕，小鹏汽车作为唯一受邀车企，其世界基座模型负责人发表演讲分享成果。小鹏用强化学习打造‘AI大脑’，还自研‘世界模型’，从云到端全流程优化，展现中国车企在自动驾驶的创新实力。

随着视觉 - 语言模型（VLM）推理能力增强，‘看错’问题凸显。现有方法有局限，微软亚洲研究院与清华提出BiPS，从训练阶段重塑模型‘看图方式’，通过‘一拉一推’机制让模型‘看全又准’，实验效果显著。

马里兰大学、MIT、斯坦福等机构研究发现，AI性能提升一半靠模型，一半靠提示词。他们让DALL - E 2和DALL - E 3 PK，发现DALL - E 3性能提升中，模型升级贡献51%，提示词优化贡献49%。

Loop Engineering旨在解决人工调度agent的问题，设计系统替人prompt。其系统是四层嵌套循环，从内到外分别让agent干活、干得对、知道何时干、越干越好，还指出优化循环结构收益渐增。

文章复盘优化JVM内存的过程，仅重构一个类，堆内存从3205MB降至211MB。原设计用通用容器在海量数据下成“内存吞噬者”，新方案用FastUtil的Long2ObjectOpenHashMap和int[]，还详解了其原理和优势。