「并行 - 蒸馏 - 精炼」共找到 363 篇相关文章
刚刚！北大校友Lilian Weng最新博客来了：Why We Think
北大校友Lilian Weng更新博客《Why We Think》，回顾利用测试时计算的研究进展，探讨让模型“思考更久”的方法。文中介绍了思维链、潜变量建模等策略，还提及多种提升生成质量的策略，如并行采样与序列修订，以及强化学习提升推理能力等内容。
5秒出4张2K大图！阿里提出2步生成方案，拉爆AI生图进度条
阿里智能引擎团队针对Qwen最新开源模型，将SOTA压缩水平从80 - 100步前向计算骤降至2步，速度提升40倍，5秒可出4张2K高清大图。已发布Checkpoint，集成到呜哩AI平台。文章还分析传统蒸馏方案问题并介绍团队改进策略。
单Agent时代结束，AI们开始组团上班
月之暗面发布并开源K2.6，重点升级代码能力与多Agent协作的“Agent集群”能力。K2.6在Artificial Analysis上取得全球开源第一，实测能并行交付多格式成果，还展现出强大的全栈应用开发能力。
sgl-kernel MoE Align Block Size Kernel 优化过程解析
文章记录SGLang的sgl-kernel中优化 `moe_align_kernel.cu` 的过程。MoE模型的 `moe_align_block_size` kernel从最初的baseline版本经多次迭代，包括加向量化padding、用Blelloch Scan并行化前缀和、用Warp Scan减少同步开销等。
AI证伪百年数学猜想被打假！Lean证明惊现漏洞，哥大教授破防了
OpenAI新推理模型取得十项数学进展，如证明非Sofic群存在性等。哥伦比亚大学副教授Henry Yuen对其量子并行重复定理证明既兴奋又失望，因证明有AI味且难理解。此外，Lean证伪科拉兹猜想被指利用内核漏洞，专家提醒Lean验证有局限。
昇腾MindSpeed：分布式训练加速库的创新实践与突破
在2025年QCon全球软件开发大会上，华为工程师郑加利分享昇腾MindSpeed分布式训练加速库。它在计算、通信、显存等多维度优化，提升训练效率，还介绍业界加速库及MindSpeed架构，阐述多种优化策略。
DeepSeek开源MoE新利器LPLB：基于线性规划，专攻训练动态负载不平衡
DeepSeek在GitHub开源LPLB，这是基于线性规划的并行负载均衡器，用于优化MoE模型专家并行工作负载分配。它通过动态重排序、副本构建等机制实现动态负载均衡，支持多种拓扑结构，但也存在成本估算等局限性。
推理速度飙升5倍，苹果提出全新Multi-Token生成框架！
自回归语言模型逐词生成文本拖慢推理速度、限制并行能力。Apple提出全新框架，挖掘其对未来词元“先验知识”，通过多项技术并行预测多词元，微调预训练模型可显著提速且不损输出质量。
能进化的Skill，才是好Skill~
2026年，我们追求“越干越好”的Agent。AutoSkill和XSKILL两篇论文指出，静态的Skill只是高级Prompt，能自我进化的Skill才是真正的数字资产，还介绍了两者的设计、优势及未来Skill的标准形态。
字节开源高效解析文档图像的新型多模态模型Dolphin，快速将复杂的文档图像转化为结构化数据。
字节开源新型多模态模型Dolphin，采用“先分析后解析”范式，能将复杂文档图像转化为结构化数据。它有卓越性能和多种特性，还提供安装、推理使用指南。