「内存优化」共找到 1396 篇相关文章
拆解、对比与优化:LLM工具智能体的五种任务规划与执行模式
文章探讨了大语言模型驱动的AI智能体的五种任务规划与执行模式,包括ReAct、Plan-and-Execute、静态Workflow、Workflow+局部智能、模块化的分层规划,分析其优缺点、适用场景,还给出优化方法。
老年代的“滞留对象”:一次由提前晋升引发的线上内存告警排查
文章以线上环境内存告警排查为例,介绍过程和思路。发现老年代因大量不可达对象占用且未触发FullGC致告警,排查出对象提前晋升是主因,还给出调整参数、减少对象产生等解决办法。
24K+ star!AI 专用无头浏览器,快11倍、内存省9倍!
Lightpanda是专为AI代理、网页抓取和自动化测试而生的开源无头浏览器,用Zig语言重写核心引擎。官方称其速度比Chrome快11倍,内存占用仅为1/9,兼容主流自动化库,目前处于Beta阶段,已获24k+ Star。
英伟达MIT出手!华人团队重磅开源,大模型推理内存暴降10倍
英伟达、MIT、浙大华人研究者联合推出TriAttention,核心是在pre - RoPE空间用Q/K三角集中度估计KV token重要性,保留关键部分。它使内存消耗降10倍,吞吐量提2.5倍,还提供vLLM集成和MLX实验性支持。
美光三星海力士遭集体诉讼!郭明錤:27年都买不到便宜内存
17名美国消费者和小企业主起诉三星、SK海力士和美光,指控其合谋减产、抬高内存价格。二十年前它们就有类似前科。郭明錤预计‘内存荒’至少持续到2027年,这让诉讼意义复杂。
AICon 2025 深圳回顾:AI Agent 爆火全场,管理与推理优化成新焦点
2025年8月22 - 23日,AICon全球人工智能开发与应用大会在深圳落幕。70+嘉宾、800+开发者与企业代表参会,议题覆盖AI Agent、推理优化等。AI Agent成全场焦点,企业管理议题意外走红,展示了AI深入各领域的趋势。
单卡即可微调大模型!内存占用仅1/8,性能依然拉满 | ICML 2025
基础大模型应用于下游任务时微调成本高,低秩适应(LoRA)方法虽降低成本,但性能不及全量微调。华中科技大学和香港中文大学团队提出GOAT框架,在25个多领域任务验证效果好,内存占用仅1/8。
MetaShuffling:Meta的Fused MoE kernel工程方案,更激进的Kernel优化和尽量避免Padding
文章介绍Meta的Fused MoE kernel工程方案MetaShuffling,可高效部署Llama 4模型。它处理MoE推理挑战,介绍多种token选择路由方案,阐述运行时设计、不同并行化方式及优化思路,还展示性能测试与Trace分析。
10步优化超越强化学习,仅需1条未标注数据!后训练强势破局
无监督的熵最小化(EM)方法仅需一条未标注数据和约10步优化,就能显著提升大模型在推理任务上的表现,甚至超越依赖大量数据和复杂奖励机制的强化学习(RL)。EM为大模型后训练提供了更高效简洁的新思路。
企业官网GEO优化:可直接复制JSON-LD+llms.txt模板(适配AI推荐)
文章提供企业官网GEO优化方案,含首页、FAQ页结构化代码及llms.txt模板,还有通用FAQ选题。介绍使用方法、上线校验步骤和生效判断标准,助企业适配AI推荐。