「并行 - 蒸馏 - 精炼」共找到 363 篇相关文章
8B模型可以超过GPT-4o！并行KV Cache压缩支持的128K长度外推方法ParallelComp
大模型长文本推理存在瓶颈，作者提出 ParallelComp 方案。它有并行 Attention 分块、KV 缓存智能淘汰与注意力偏差校准三大创新，能让 8B 模型性能达 GPT - 4o 的 91.17%，特定任务超 GPT - 4o。
NVIDIA技术沙龙 《大规模EP优化：PD分离MoE并行方式》课程笔记
本文是NVIDIA技术沙龙课程笔记，介绍大规模EP优化的PD分离MoE并行方式。涵盖PD分离、大规模专家并行等五项关键技术创新，还对比多模型架构，展示推理服务架构性能特点与优化策略，以及各技术工作流程和效果。
对话27岁博导张林峰：模型压缩获CVPR满分有点意外，上海交大像我这样年轻老师很多
上海交大27岁博导张林峰团队在模型压缩领域成果丰硕。其提出的数据集蒸馏方法获CVPR 2025满分，还在多方面探索模型加速，成果已开源。张林峰认为数据蒸馏会成模型压缩趋势，也分享了知识蒸馏阶段看法。
高性能全闪并行文件系统的设计和实践
焱融科技 CTO 张文涛在 QCon 大会分享‘高性能全闪并行文件系统的设计和实践’，介绍了焱融全闪文件存储架构和 YRCloudFile 技术细节，分享其解决 AI 训练存储难题的方案。
ICCV 2025 | EPD-Solver:西湖大学发布并行加速扩散采样算法
扩散模型成生成任务主流技术，但逐步去噪机制致推理延迟大。西湖大学提出 EPD - Solver 算法，融合三类加速思路优势，可减少积分误差、提升生成质量，还能作插件集成，突破扩散模型速度与质量权衡瓶颈。
告别纯奖励试错！二次尝试+反思蒸馏，复杂任务提升81%
美国南加州大学和宾夕法尼亚大学团队提出新训练范式ERL，将「经验学习」引入强化学习，通过二次尝试和反思蒸馏，在复杂任务中性能显著提升，为构建长期自主智能体提供新思路。
大模型推理加速全链路：内存管理、编译优化、量化与并行策略
本文整理自金煜阳博士在QCon大会分享。介绍大模型推理挑战，如规模增大、架构复杂。阐述算子优化、内存管理、量化、异构调度和并行优化方法，还介绍开源推理引擎赤兔在国产芯片的实践成果。
116页论文教你「蒸馏」Claude、GPT-5.6：AI社区今天炸了
一篇前沿大模型安全漏洞论文引发热议，指出各大模型 API 设计缺陷，可提取隐藏思维链。同一模型家族安全能力不对称，攻击者可利用此漏洞，还介绍了攻击路径、实验及修复建议。
7.3K Star！用 Orca 组建 AI 舰队：让 Claude Code 和 Codex 同时开工！
Claude Code 大火后，多家大厂推出自家 Code CLI，多终端操作上下文切换成本高。Orca 是开源 AI 编排器，可让多个 AI 编程助手并行工作，集中查看结果，有并行工作区、统一管理界面等亮点。
ICML 2026 | 将多教师冲突转化为动态约束，破解多模态大模型推理对齐难题
在多模态大模型发展中，多教师知识蒸馏成提升性能关键，但教师模型存在“概念漂移”问题。悉尼科技大学团队提出 APO 框架，将模型间“漂移”转化为动态负约束，解决多模态大模型多师蒸馏概念对齐难题，工作被 ICML 2026 接收。