「fp8 quant kernel」共找到 85 篇相关文章
1万亿参数Ling-1T开源，国产LLM牛了~
Ling-1T是Ling 2.0系列首款旗舰“非思维”模型，总参数量达1万亿。预训练数据超20万亿token，支持128K上下文长度。在多项任务中表现出色，是目前已知最大的FP8训练基座模型，已完成全面评测。
求稳的安全IP，安谋科技如何守正出奇？｜甲子光年
12月24日，安谋科技推出新一代SPU IP——“山海” S30FP/S30P，构建覆盖芯片底层至应用层的一栈式安全防护体系，有抗物理攻击强等五大亮点，能适配不同场景安全需求，完善产品布局。
真能戴出门的脑机接口来了？长得像普通毛线帽，戴上就能意念打字
本文报道Kernel前CEO跳槽EEG脑机接口初创公司Sabi的行业动态，介绍Sabi推出的毛线帽造型非侵入式脑机接口产品Sabi Cap，分析BCI领域不同技术路线的商业化前景，探讨消费级脑机接口的机遇与挑战。
单机H200最快DeepSeek V3和R1推理系统优化秘籍
作者从开源技术分享角度，盘点SGLang对单机规模推理的大量工程优化技巧，涉及FP8 Block GEMM演进、FusedMoE模块优化、Attention Backend优化等，助于提升DeepSeek V3/R1在单机H200上的推理性能。
Sea AI Lab 揭秘：你费尽心力调的 LLM 一直在崩溃？罪魁祸首可能只是一个参数：BF16
Sea AI Lab 和新加坡国立大学研究指出，强化学习微调中训练不稳定和性能瓶颈，根源是数值精度 BF16。其低精度造成“训练 - 推理不匹配”，使训练易失败。将精度切换到 FP16 可解决问题，提升模型表现。
刚刚！Qwen3深夜升级，碾压Kimi K2和DeepSeek V3
通义千问更新旗舰版Qwen3模型，推出Qwen3 - 235B - A22B - Instruct - 2507 - FP8。新模型通用能力显著提升，在多测评中超Kimi - K2等模型，还增强多语言覆盖等性能，已在魔搭和Hugging Face开源。
TileLang深入详解-第二章-TileLang 核心编程抽象
文章深入解析TileLang核心编程抽象，介绍写kernel的方式，阐述TileLang三层抽象特点及适用场景，展示JIT工作流、接口和执行后端，还提及性能优化、基准测试、正确性校验，最后用GEMM示例对比三层抽象差异并给出使用建议。
Pingpong Schedule并不是万能钥匙
SGLang社区开发者反馈，SM90 FP8 Blockwise Scaling Grouped GEMM从H20迁移至H800后性能下降。文章分析是Pingpong调度策略所致，因算力提升，其使TensorCore未充分利用、TMA效率低，建议用Cooperative策略。
中国AI芯片大突围，DeepSeek V3.1引爆算力革命
DeepSeek V3.1发布，是中国AI技术自主性的战略突围。它有6850亿参数，采用UE8M0 FP8适配国产芯片，具混合推理架构、Agent能力等。其发布或重塑AI产业格局，推动国产芯片发展。
让强化学习快如闪电：FlashRL一条命令实现极速Rollout，已全部开源
清华AIR、字节联合团队曾发布DAPO实现大规模LLM强化学习。刘力源、姚峰团队发现DAPO-32B中rollout生成是瓶颈，推出FlashRL，应用INT8/FP8，用TIS解决不匹配问题，加速显著且不牺牲性能，一条命令即可使用。