内存优化」共找到 1396 篇相关文章

推荐文章7

拆解、对比与优化:LLM工具智能体的五种任务规划与执行模式

文章探讨了大语言模型驱动的AI智能体的五种任务规划与执行模式,包括ReAct、Plan-and-Execute、静态Workflow、Workflow+局部智能、模块化的分层规划,分析其优缺点、适用场景,还给出优化方法。

AI大模型应用实践
推荐文章7

老年代的“滞留对象”:一次由提前晋升引发的线上内存告警排查

文章以线上环境内存告警排查为例,介绍过程和思路。发现老年代因大量不可达对象占用且未触发FullGC致告警,排查出对象提前晋升是主因,还给出调整参数、减少对象产生等解决办法。

阿里云开发者
开源动态8

24K+ star!AI 专用无头浏览器,快11倍、内存省9倍!

Lightpanda是专为AI代理、网页抓取和自动化测试而生的开源无头浏览器,用Zig语言重写核心引擎。官方称其速度比Chrome快11倍,内存占用仅为1/9,兼容主流自动化库,目前处于Beta阶段,已获24k+ Star。

开源先锋
开源动态8

英伟达MIT出手!华人团队重磅开源,大模型推理内存暴降10倍

英伟达、MIT、浙大华人研究者联合推出TriAttention,核心是在pre - RoPE空间用Q/K三角集中度估计KV token重要性,保留关键部分。它使内存消耗降10倍,吞吐量提2.5倍,还提供vLLM集成和MLX实验性支持。

新智元
新闻资讯7

美光三星海力士遭集体诉讼!郭明錤:27年都买不到便宜内存

17名美国消费者和小企业主起诉三星、SK海力士和美光,指控其合谋减产、抬高内存价格。二十年前它们就有类似前科。郭明錤预计‘内存荒’至少持续到2027年,这让诉讼意义复杂。

量子位
新闻资讯8

AICon 2025 深圳回顾:AI Agent 爆火全场,管理与推理优化成新焦点

2025年8月22 - 23日,AICon全球人工智能开发与应用大会在深圳落幕。70+嘉宾、800+开发者与企业代表参会,议题覆盖AI Agent、推理优化等。AI Agent成全场焦点,企业管理议题意外走红,展示了AI深入各领域的趋势。

AI前线
算法论文8

单卡即可微调大模型!内存占用仅1/8,性能依然拉满 | ICML 2025

基础大模型应用于下游任务时微调成本高,低秩适应(LoRA)方法虽降低成本,但性能不及全量微调。华中科技大学和香港中文大学团队提出GOAT框架,在25个多领域任务验证效果好,内存占用仅1/8。

量子位
开源动态8

MetaShuffling:Meta的Fused MoE kernel工程方案,更激进的Kernel优化和尽量避免Padding

文章介绍Meta的Fused MoE kernel工程方案MetaShuffling,可高效部署Llama 4模型。它处理MoE推理挑战,介绍多种token选择路由方案,阐述运行时设计、不同并行化方式及优化思路,还展示性能测试与Trace分析。

GiantPandaLLM
算法论文8

10步优化超越强化学习,仅需1条未标注数据!后训练强势破局

无监督的熵最小化(EM)方法仅需一条未标注数据和约10步优化,就能显著提升大模型在推理任务上的表现,甚至超越依赖大量数据和复杂奖励机制的强化学习(RL)。EM为大模型后训练提供了更高效简洁的新思路。

新智元
产品应用7

企业官网GEO优化:可直接复制JSON-LD+llms.txt模板(适配AI推荐)

文章提供企业官网GEO优化方案,含首页、FAQ页结构化代码及llms.txt模板,还有通用FAQ选题。介绍使用方法、上线校验步骤和生效判断标准,助企业适配AI推荐。

孔生SEO