「内存优化」共找到 1395 篇相关文章
低延迟、高吞吐，LLM优化与高效推理引擎综述
LLM计算成本高，用户要低延迟，企业要高吞吐。工程师开发优化技术，如动态批处理、KV缓存、模型量化。论文对比25款推理引擎，还探讨了多模态支持、手机端推理、新型架构支持等进化方向。
美光财报：这一次，内存行业真的不一样了
美光财报表现亮眼，单季营收414亿美元，同比暴涨346%，毛利率从38%飙升到85%。AI让内存成战略资源，需求爆发，供给受限。美光扩产激进、技术进步快，有望进入‘以利润养扩产’正循环。
AI Agent平台Sedai获2000万美元融资，主打云优化
AI Agent平台Sedai获2000万美元B轮融资，由AVP领投。它聚焦云优化，用智能体取代人工运维，节省成本。产品应用广泛，核心能力突出，2024年收入增长7倍，计划扩平台、引新功能、扩市场团队。
150%训练效率提升：感知检测小模型训练优化方法
文章基于业务实践，总结感知检测小模型在不同算力卡上的训练方法，为智能驾驶场景提供借鉴。介绍测试环境、技术架构，分析环境依赖冲突、源代码适配等问题并给出解决方法，还提及性能优化及测试结果。此外还介绍用 RAGFlow 构建私有知识问答应用。
jiSGLang集成ktransformers：2TB内存运行Kimi K2 Thinking模型
对于内存多但GPU资源有限的用户，SGLang集成ktransformers的CPU内核，支持直接运行Kimi K2 Thinking模型。它无需等量化，还能微调，虽性能与GPU方案有差距，但给用户新选择。
英伟达服务器涨价超15%！百亿AI基建的「内存难题」
据彭博社报道，英伟达通知客户，搭载其AI芯片的服务器价格将涨超15%，2027年初生效。涨价主因是内存需求大增、供应紧张价格上涨，这让数据中心前期投入增加，小公司更难入局。
科研的回归：AutoSOTA如何终结“增量式优化”的重复劳动
当前AI科研中，为提升性能指标，研究者投入大量精力做“增量式优化”，限制原创探索。AutoSOTA项目由清华与中关村学院联合发布，它基于智能体系统构建自动化方案，接管实验迭代，一周发现105个SOTA模型，推动科研回归原创。
OpenAI 开发者的 Skill 经验：如何使用评估系统来优化 Skill
文章聚焦 OpenAI 开发者优化 Skill 的方法，指出迭代 AI 技能效果难测，可借助评估系统。介绍了用 Codex 评估的流程，包括明确标准、创建技能、手动触发找漏洞等，还提及不同阶段的评估重点和工具。
谷歌与OpenAI对狙，Gemini主打极速性价比，GPT优化对话温度
谷歌与OpenAI对狙，谷歌发布Gemini 3.1 Flash - Lite，主打规模化性价比，专为高频场景设计，成本低、速度快；OpenAI上线GPT - 5.3 Instant，优化对话体验，减少拒答、增强联网搜索等。
50年僵局打破！MIT最新证明：对于算法少量内存胜过大量时间
MIT理论计算机科学家Ryan Williams最新研究建立数学程序，将任意算法转化为占用空间更少的形式，证明少量计算内存比大量计算时间更有价值，打破计算机科学家近50年认知。