「端侧优化」共找到 1328 篇相关文章
大模型推理加速全链路：内存管理、编译优化、量化与并行策略
本文整理自金煜阳博士在QCon大会分享。介绍大模型推理挑战，如规模增大、架构复杂。阐述算子优化、内存管理、量化、异构调度和并行优化方法，还介绍开源推理引擎赤兔在国产芯片的实践成果。
PD 分离推理的加速大招，百度智能云网络基础设施和通信组件的优化实践
为适应PD分离式推理部署架构，百度智能云从物理网络、网络流量、通信组件和算子层面优化，提升上层推理服务性能，展现了网络、组件与业务特征融合的重要性。
“像把大象塞进冰箱一样困难”，端侧大模型是噱头还是未来？
InfoQ《极客有约》X AICon 直播聚焦端侧大模型，探讨其落地挑战与破局思路。专家指出端侧部署有隐私、可用性等优势，但面临内存、精度等难题。华为、支付宝等分享方案，还探讨应用场景、商业模式及未来趋势。
重新审视SFT的泛化能力：优化动态、数据与模型能力的条件性分析
上海人工智能实验室等联合研究质疑了‘SFT倾向于记忆，RL实现泛化’观点，指出SFT泛化是条件性现象，受优化动态、训练数据、基模型能力影响，还揭示长思维链SFT会带来安全性能退化。
北大彭一杰教授课题组提出RiskPO，用风险度量优化重塑大模型后训练
北大彭一杰教授课题组提出 RiskPO，解决大模型后训练陷入「均值陷阱」问题。它将风险规避理念融入优化目标，用「关注奖励分布左尾」替代「追求整体均值」，在多领域数据集上表现超越 GRPO 等。
6.6K标星！微软开源Agent自我优化框架，为智能体注入持续学习能力！
开发AI Agent常面临部署后难自动优化的问题。微软开源的Agent Lightning，加几行代码就能让Agent自动学习、持续优化，有事件追踪等核心能力，安装简单，应用场景丰富。
Qwen紧追OpenAI开源4B端侧大模型，AIME25得分超越Claude 4 Opus
Qwen团队深夜开源两个端侧模型Qwen3 - 4B - Instruct - 2507和Qwen3 - 4B - Thinking - 2507，尺寸对端侧友好，支持256k上下文。后者在AIME25测评得分超Claude 4 Opus，两模型能力较前作均有提升。
斯坦福意外用AI生成超强CUDA内核，性能比人类专家优化得还要好！翻倍碾压原生PyTorch，华人主创
斯坦福团队意外发现AI生成的内核性能超人类专家优化的，在常见深度学习操作上能让性能提升近400%。其方法是生成自然语言优化思想再转化为代码，还使用多分支探索模式。
为训推加速！全新FlashQLA注意力算子库开源
自Qwen3-Next发布，GDN成Qwen主力注意力层，随模型规模扩大开销增大。现开源FlashQLA算子库，融合优化GDN Chunked Prefill前反向算子，在NVIDIA Hopper上多场景加速，提升预训练和端侧推理效率。
让大模型“跑”在手机里：vivo蓝心端侧部署创新揭秘，性能功耗双优！
在AICon2025上海站，vivo AI研究院工程师章苏迟分享蓝心大模型端侧部署方案。介绍端侧大模型优势及应用场景，阐述内存、性能、功耗等指标优化方法，还提及多业务场景应对策略与安全合规措施。