「内存优化」共找到 1397 篇相关文章
nndeploy：一款基于可视化工作流的AI部署工具
nndeploy是简单易用且高性能的AI部署框架，可将推理优化转化为可视化工作流，无需前端技术栈。它还提供端侧完整AI部署方案，有多端推理等功能，介绍了使用方法与技术原理。
叶子豪、陈天奇等人开源项目FlashInfer入选，MLSys2025最佳论文奖公布
近日，MLSys 2025公布最佳论文奖，FlashInfer等入选。FlashInfer由多机构合作发起，是灵活的LLM推理内核库，优化内存访问、有可定制模板和调度机制，性能提升显著。另一获奖论文提出Negativa - ML可消除ML框架臃肿。
DeepSeek发布最新论文，5大杀手锏让大模型训练、推理暴涨
全球著名开源大模型平台DeepSeek在huggingface发布超强开源模型V3的论文，从硬件架构和模型设计双视角探讨高效训练和推理，提出DeepSeek - MoE、多头潜在注意力等创新技术，解决内存、计算效率等难题。
Hybrid Model Support：阿里云 Tair 联合 SGLang对 Mamba-Transformer 等混合架构模型的支持方案
文章介绍阿里云 Tair KVCache 团队与SGLang社区在推理框架上支持混合架构模型的工程化实践。分析混合架构崛起原因、面临挑战，阐述内存管理、关键技术优化方案，验证性能，并指出未来演进方向。
1.58bit不输FP16！微软推出全新模型蒸馏框架，作者全是华人
微软推出蒸馏框架BitNet Distillation，实现几乎无性能损失的模型量化。它含三阶段，经实验在多下游任务表现近全精度模型，降内存开销、提推理速度，作者全是微软研究院华人。
让大模型“跑”在手机里：vivo蓝心端侧部署创新揭秘，性能功耗双优！
在AICon2025上海站，vivo AI研究院工程师章苏迟分享蓝心大模型端侧部署方案。介绍端侧大模型优势及应用场景，阐述内存、性能、功耗等指标优化方法，还提及多业务场景应对策略与安全合规措施。
加一个JVM参数，让系统可用率从95%提高到99.995%
文章针对高并发系统不稳定问题，定位是系统内存索引切换时 GC 压力大所致。围绕让索引尽早晋升、直接分配到老年代等思路探索优化，经多番尝试，最终实现索引无感切换，使系统可用率达 99.995%。
如何重现 DeepSeek 推理性能突破
DeepSeek-V3 是热门开源大模型，采用大规模 MoE 架构，优化推理性能是工程难点。阿里团队在 RTP - LLM 完成优化，对齐其推理系统性能，分享关键技术、不足与思考，还提及对 Qwen3 模型的优化策略。
探索 GPU 加速向量检索：NVDIA Cagra 在微信大规模推荐系统中的应用实践
本文分享腾讯团队将 Cagra GPU 图索引大规模应用于微信核心线上推荐业务的实践。介绍 Cagra 算法原理与优势，讲述线上化改造、架构演进、CPU/GPU 协同优化等，展示业务落地显著收益。
产学研深度融合样本：高校教授携手昇腾，共筑AI算力生态基石｜甲子光年
本文对话华南理工大学陆璐教授，他有丰富业界经验，回归学界后聚焦AI算力平台性能优化。其团队与昇腾合作解决性能挑战，成果用于开源与产品集成。陆璐还对算力生态未来给出战略与实操建议。