「并行 - 蒸馏 - 精炼」共找到 363 篇相关文章
OpenAI和Anthropic费尽心机加密的思维链，竟然能被轻松提取？
围绕大模型蒸馏争议已久，此前外部团队难获闭源模型完整推理。8 月 10 日研究者公开方法，可让弱模型读取旗舰模型密文并输出推理，还发现公开智能体轨迹存在隐私泄露问题，不过未为蒸馏指控提供决定性证据。
超越MLA！新架构MLRA百万token，解码最高2.8倍速 | ICLR'26
大语言模型处理长文本时，自回归生成受限于显存带宽。为减少KV缓存开销，业界尝试多种方法，但MLA有缺陷。宾夕法尼亚州立大学等研究人员提出MLRA，拆分KV缓存为四个并行分支，降低显存占用，实现4路张量并行，性能更优。
【博客转载】CUDA Cooperative Groups
文章介绍CUDA cooperative groups，它让开发者创建和管理能同步通信的线程组，为GPU并行算法编程提供更灵活高效方式。文中讨论并行归约算法及用cooperative groups的实现，还对比不同归约求和方法及性能。
为大模型思考装上“猎鹰重装引擎” ：腾讯混元 SEAT 重塑深度思考
本文深度解析腾讯混元最新发布的 SEAT 自适应并行扩展推理框架。它让大模型 CoT 升级，应对复杂推理任务。该框架通过多轮并行推理和语义熵导航，解决大模型深度思考的局限，且适配多种大模型，性价比高。
Transformer 中的专家混合模型 (MoE)
文章介绍Transformer中专家混合模型（MoE），它能解决稠密模型扩展瓶颈。阐述其优势，如计算高效、适合并行等，还介绍在transformers库中支持稀疏架构的演进，包括权重加载重构、专家执行后端、专家并行及训练方案。
Distilabel DeepSeek-R1 模型蒸馏教程
文章介绍结合distilabel与QLoRA技术定制专属大模型的路径。先用distilabel框架利用DeepSeek - R1生成医疗指令数据集，再用QLoRA技术微调Qwen3 - 4B模型，还给出实战路线图和代码示例。
盘点16个把自己蒸馏成Skills的国民级App。
作者盘点16个将自身能力封装成Skill或MCP的国民级App，涉及餐饮、出行、办公等领域，如瑞幸咖啡、飞猪、飞书等，还提到部分AI产品集成第三方服务情况，指出向全面Agent化过渡的趋势。
一个CLAUDE.md霸榜GitHub第一！蒸馏自Karpathy，6万码农抄作业
一个名为CLAUDE.md的Markdown配置文件冲爆GitHub，本周新增44,465颗星，总星数61.6k，连续三天Trending日榜第一。它源自Karpathy对LLM编程陷阱的观察，含四条规矩，能约束AI编程Agent。
西湖大学提出RDPO强化学习框架，实现扩散模型并行推理加速
扩散模型“顺序去噪”特性成速度提升瓶颈。西湖大学AGI Lab提出RDPO框架，不必改动模型本身，优化其“采样导航系统”，在多基准测试中取得领先图像生成效果，解决加速问题并提供RLHF对齐新范式。
MIT & Google | 提出异步并行生成新范式，LLM推理效率大幅提升！
MIT与谷歌团队在研究PASTA中探索异步生成范式，开发标记语言PASTA - LANG，采用双阶段训练流程，设计推理系统。实验显示PASTA平衡性能与质量，有可扩展性，为LLM推理效率优化开创学习驱动新路径。