「内存优化」共找到 1438 篇相关文章
AICon 2025 深圳回顾：AI Agent 爆火全场，管理与推理优化成新焦点
2025年8月22 - 23日，AICon全球人工智能开发与应用大会在深圳落幕。70+嘉宾、800+开发者与企业代表参会，议题覆盖AI Agent、推理优化等。AI Agent成全场焦点，企业管理议题意外走红，展示了AI深入各领域的趋势。
单卡即可微调大模型！内存占用仅1/8，性能依然拉满 | ICML 2025
基础大模型应用于下游任务时微调成本高，低秩适应（LoRA）方法虽降低成本，但性能不及全量微调。华中科技大学和香港中文大学团队提出GOAT框架，在25个多领域任务验证效果好，内存占用仅1/8。
MetaShuffling：Meta的Fused MoE kernel工程方案，更激进的Kernel优化和尽量避免Padding
文章介绍Meta的Fused MoE kernel工程方案MetaShuffling，可高效部署Llama 4模型。它处理MoE推理挑战，介绍多种token选择路由方案，阐述运行时设计、不同并行化方式及优化思路，还展示性能测试与Trace分析。
10步优化超越强化学习，仅需1条未标注数据！后训练强势破局
无监督的熵最小化（EM）方法仅需一条未标注数据和约10步优化，就能显著提升大模型在推理任务上的表现，甚至超越依赖大量数据和复杂奖励机制的强化学习（RL）。EM为大模型后训练提供了更高效简洁的新思路。
企业官网GEO优化：可直接复制JSON-LD+llms.txt模板（适配AI推荐）
文章提供企业官网GEO优化方案，含首页、FAQ页结构化代码及llms.txt模板，还有通用FAQ选题。介绍使用方法、上线校验步骤和生效判断标准，助企业适配AI推荐。
4.1K Star！发现一个超轻量的 OpenClaw 平替项目，比 OpenClaw 内存少 99%！
开发者运行OpenClaw成本高，Sipeed推出超轻量开源项目PicoClaw。它内存占用小于10MB，成本只需10美元硬件，启动快、可移植，功能全，还介绍了入手方式和技术路线。
Google 发了个压缩算法，内存砍 6 倍，速度快 8 倍，精度零损失
Google Research发布TurboQuant压缩算法，将在下月ICLR 2026正式发表。该算法把大模型的KV Cache压缩到3 bit，内存降6倍、速度快8倍且精度零损失，解决了传统算法的压缩开销问题。
谷歌开源Gemma 3n：2G内存就能跑，100亿参数内最强多模态模型
本周五凌晨，谷歌正式发布、开源全新端侧多模态大模型 Gemma 3n。它有多模态设计、专为设备端优化等特性，核心是 MatFormer 架构，还采用了 PLE 技术等，在多方面实现质量提升。
WebAssembly 3.0 发布，64 位内存、垃圾回收全都有，先别激动，组件模型还没做完！
WebAssembly 3.0 发布，有 64 位内存、垃圾回收等特性，但备受期待的组件模型未完成。虽未迎来‘Docker 时刻’，但服务器端生态有进展，不少平台已实现‘类组件’能力。
不止于量化：最新综述用「时-空-构」三维视角解构KV Cache系统级优化
随着LLM向1M上下文演进，KV cache成推理服务效率核心瓶颈。墨尔本大学和华中科技大学研究者发布深度综述，用「时间 - 空间 - 结构」视角梳理KV cache优化方法，还归纳关键观察、提出开放挑战，并整理了资源库。