「内存优化」共找到 1390 篇相关文章
AI引爆内存荒:手机电脑不仅要涨价,还要减配
AI发展带来内存短缺问题,波及消费电子领域,电子设备价格上涨且短期内难以缓解。TrendForce高级研究副总裁Avril Wu建议现在就买电子设备,因产能被AI截胡,内存市场处于结构性紧缺。
王云鹤眼中的Harness:复杂优化问题,AGI灵魂争夺之战
王云鹤在知乎文章中探讨Harness Engineering,指出Agent=Model+Harness,多模型配合能提升Agent能力。还分析Harness存在的必要性,认为它是复杂优化问题,关乎AI“灵魂”之争。
跨芯片统一优化,DLCompiler与DLBlas驱动算子极致表现
9月10日,上海AI实验室DeepLink团队开源DLCompiler和DLBlas。前者是扩展Triton的深度学习编译器,后者是面向大模型的高性能算子库。它们有跨架构DSL扩展等亮点,在多芯片上实现性能优化,还解决了DSA芯片优化难题。
成本仅0.3美元,耗时26分钟!CudaForge:颠覆性低成本CUDA优化框架
CUDA代码性能对模型训练与推理重要,但手动优化门槛高。明尼苏达大学团队提出CudaForge,是低成本多智能体CUDA Kernel生成与优化工作流,实验效果好,成本低且具通用性。
AI 集成的智能 Profiling 实践:从性能分析到优化闭环
本文由韩钦亭撰写,分享了在已有 Profiling 平台引入 AI 智能辅助模块的实践。介绍了设计思路、工程实现、应用成效,对比不同大语言模型,通过实际案例展示优化效果,还探讨了 AI 在性能优化场景的未来潜力。
Ollama升级模型调度系统:内存管理更精准,多GPU性能提升
Ollama升级模型调度系统,精确测量运行模型所需内存,带来内存崩溃减少、GPU利用率提高等改进。Gemma3、Mistral - small3.2等模型性能提升,更多模型正迁移,还在开发iGPU支持,评估NPU支持。
当SFT遇上RL:基于样本学习阶段的动态策略优化机制
在大模型推理能力增强研究中,SFT和RL两种后训练范式难有效融合。研究团队提出DYPO动态策略优化方法,先判断样本学习阶段再匹配优化路径,在多场景实验中表现出色,不过有实验边界。
MySQL复制延迟终结者:AliSQL 高效AI诊断和四大内核级优化
MySQL主从复制延迟损害实例可用性和时效性。AliSQL引入AI诊断定位原因,针对大表DDL、大事务、批量数据处理和小事务高并发四类场景,进行内核级优化,消除复制延迟。
微软、哈佛开源创新优化器:全面超越Muon,提升大模型训练效率
随着大模型训练所需计算资源爆炸式增长,微软和哈佛团队联合开源优化器Dion。它利用低秩近似和解耦动量缓冲区,避免分布式训练同步完整梯度,在集中式和分布式场景都有高效表现,性能超Muon。
大型语言模型稳定强化学习的新路径:几何平均策略优化GMPO
本文介绍了大型语言模型稳定强化学习新路径——几何平均策略优化GMPO。它是GRPO稳定化版本,通过优化几何平均替代算术平均,解决GRPO训练不稳定问题,在多任务实验中显著优于GRPO。