「内核优化」共找到 1290 篇相关文章
PDL 在 SGLang Kimi K3 中的应用
文章介绍 PDL 在 SGLang Kimi K3 中的应用，K3 内核优化接入 PDL 以缩短相邻内核间隙。分析 PDL 原理、在 bs=1 decode 中解决的问题，阐述计算链和通信链上的应用，还提及性能数据和实现问题。
18 年 SEO 增长经验专家：别再收藏各种 AEO 最佳攻略了，自己动手实验才是做好的关键
18年SEO增长经验专家Ethan Smith与Lenny对谈，指出网上多数AEO信息不准确，做好AEO要自己动手验证。还分享AEO玩法、与SEO区别、优化策略等，强调100%AI生成内容不可行，要优化帮助中心内容。
AI问答，直接「拍」给你看！来自快手可灵&香港城市大学
来自快手可灵团队和香港城市大学的研究者提出「视频作为答案」任务范式，发布VANS模型。它由视觉语言和视频扩散模型构成，通过联合分组相对策略优化算法协同优化，在教学和预测应用上效果超现有模型。
Thinking Machines 发布第二篇博文：用模块化流形让训练更加稳定高效
Thinking Machines实验室发布第二篇Connectionism研究文章，提出模块化流形理论框架，通过在权重矩阵施加流形约束让神经网络训练更稳定高效。文章从几何角度思考优化问题，提出流形Muon优化器，还探讨了模块化流形扩展到大型网络的方法。
构建能源领域的AI专家：一个多智能体框架的实践与思考
本文介绍阿里团队在能源领域构建多智能体框架的实践。因单智能体处理复杂任务有“注意力发散”问题，团队研发综合能源智能体平台，阐述框架搭建、各组件功能及设计考量，还分享思考与可优化点。
容器可观测新视角： SysOM延时监控助力定位业务抖动原因
云原生场景下，资源超卖和混合部署使宿主机与容器化应用资源竞争加剧，引发内核级延迟问题。本文结合实战案例，介绍用ack - sysom - monitor Exporter分析定位内核延迟，还介绍了SysOM监控及解决系统延时的方法。
杨植麟回复：Kimi K2训练用的H800！但“只花了460万美元”嘛…
月之暗面团队回应Kimi K2 Thinking训练成本，透露用英伟达H800，GPU少但利用充分。该模型凭实力与低成本引迁移潮，还引发对闭源巨头估值反思。技术上有优化创新，团队还公开答疑。
回归C++: 在GGUF上构建高效的向量模型
Jina AI分享将纯解码器向量模型适配到GGUF格式及在llama.cpp工具链的优化经验。经处理得到特定任务v4模型，还生成量化版本并上传。介绍使用方法、注意事项，经测试推荐IQ3_S或IQ3_M版配合定制工具。
通过零开销逐层权重卸载技术将SGLang Diffusion wan2.2的推理速度加速60%
文章介绍在优化SGLang对Wan2.2视频生成模型支持时，发现双Transformer架构下第1步和第19步推理慢的问题。通过零开销逐层权重卸载技术，将整体推理速度提升60%，还突破显存墙，且该优化可扩展到其他模型。
FlashAttention 完全进化史：FA-4 发布之际的技术全景回顾
文章围绕FlashAttention展开，从Attention性能瓶颈引出问题，阐述其各版本演进。FA-1实现算法突破，避免O(N²)内存；FA-2适配架构，提升性能；FA-3深度协同，实现异步；FA-4探索更深异步和角色分工。还探讨跨芯片迁移及未来优化方向。