「量化内核」共找到 278 篇相关文章
多家芯片公司业绩飙涨，这个赛道彻底火了？
近期多家A股芯片公司Q3财报亮眼，受益于端侧AI推进。端侧AI优势多，吸引科技巨头布局，但落地有挑战。技术进步使大模型轻量化，手机与AI眼镜较热。其发展面临应用、技术、生态等问题，也有隐私保护方案。
MoE RL 实战：统一 FP8 全流程训练
SGLang RL 团队等实现 RL 全流程 FP8 训练与采样，消除训推不一致性。介绍 FP8 硬件基础、格式等，分析训练难点，定位 KL Loss 异常源于量化原理，验证其在 MoE 模型 RL 场景优势，指出模型规模与训推不一致的关联。
sgl-kernel MoE Align Block Size Kernel 优化过程解析
文章记录SGLang的sgl-kernel中优化 `moe_align_kernel.cu` 的过程。MoE模型的 `moe_align_block_size` kernel从最初的baseline版本经多次迭代，包括加向量化padding、用Blelloch Scan并行化前缀和、用Warp Scan减少同步开销等。
阿里千问大模型换将，32岁林俊旸官宣告别
阿里巴巴高级算法专家、通义千问大模型负责人林俊旸宣布告别千问团队，此前一晚千问团队刚推出Qwen3.5轻量化模型且获马斯克点赞。此外，Qwen3.5核心贡献者Kaixin Li和通义实验室科学家Binyuan Hui也发文告别，几人去向未明。
教你构建私有 AI Coding 平台：Pi、DSH、Codex Harness 扩展能力对比与选型。
文章聚焦构建私有AI Coding平台，对比Pi、DeepSeek Harness、Codex Harness的架构、扩展能力及选型策略。介绍三者交互集成方式，分析其扩展特点，并为不同需求团队给出选择建议。
1.93bit版DeepSeek-R1编程超过Claude 4 Sonnet，不用GPU也能运行
1.93bit量化后的DeepSeek - R1（0528）编程能力超Claude 4 Sonnet，在aider榜单获60分。Unsloth工作室制作9个量化版本，小版本不用GPU也能跑。R1 - 0528在游戏评测中表现也佳。
PDL 在 SGLang Kimi K3 中的应用
文章介绍 PDL 在 SGLang Kimi K3 中的应用，K3 内核优化接入 PDL 以缩短相邻内核间隙。分析 PDL 原理、在 bs=1 decode 中解决的问题，阐述计算链和通信链上的应用，还提及性能数据和实现问题。
解码加速15倍！EdgeRazor助推大模型在PC/移动端“狂飙”
大语言模型参数膨胀，端侧部署难，量化成主流轻量化方案。开源工具库EdgeRazor由南京大学和微软联合推出，采用MPQAD打破极低比特大语言模型“能力塌陷”，在性能、效率、易用性等方面表现出色，打通AI全生态链路。
具身导航：感知推理是上帝，还是执行控制是命门？| GAIR Live 023期预告
具身导航正从‘几何避障’向‘空间智能’跨越，当前领域经历范式变革。GAIR Live 023期线上圆桌将聚焦其前沿进展与落地问题，邀请两位专家拆解底层逻辑，还给出了核心议题、讨论精华预览及参与方式。
图像模型今夜变天？谷歌刚刚泄露了「Nano Banana Pro」这张王牌
谷歌DeepMind CEO置顶「预告」，传言中的Nano Banana Pro登场在即。它基于Gemini 3.0 Pro级引擎，速度、画质大幅升级，懂界面排版，创作力强，有望让图像模型迈进「专业级时代」。