「fp8 quant kernel」共找到 85 篇相关文章
1.58bit不输FP16！微软推出全新模型蒸馏框架，作者全是华人
微软推出蒸馏框架BitNet Distillation，实现几乎无性能损失的模型量化。它含三阶段，经实验在多下游任务表现近全精度模型，降内存开销、提推理速度，作者全是微软研究院华人。
微软发布 Agent 安全框架 MAF
微软发布 Agent 安全框架 MAF，它是 AutoGen + Semantic Kernel 的统一继任者。有三层中间件，对 MCP 采样默认拒绝，还加了工具审批中间件，编排用图模型，为生产环境安全治理设计。
记录下SGLang 开发，编译和Profile的几个小技巧
作者记录在SGLang开源一年学到的开发和Profile技巧。包括解决perfetto可视化PyTorch Profiler结果时kernel丢失问题、PR切换分支方法，还介绍让SGLang无视版本运行以定位bug的方法。
CUDA内核之神、全球最强GPU程序员？OpenAI的这位幕后大神是谁
AI圈聚光灯常聚焦明星人物，OpenAI一位工程师因编写关键CUDA Kernel引发关注，网友猜测是Scott Gray。他在Nervana开发maxas、maxDNN，加入OpenAI后开发块稀疏GPU内核并开源。
Coding Agent 的一个啊哈时刻
作者翻用Codex在SGLD做Qwen - Image/HunyuanVideo的modelopt fp8支持的记录，发现Coding Agent思考过程与人类思路高度一致，如对比中间图和结果图判断量化精度，Infra领域核心技能或被其解决。
RTP-LLM 在相关性大模型中的推理优化最佳实践
淘宝搜索场景引入大参数LLM模型，面临系统性能挑战。本文分享基于RTP - LLM框架的优化实践，如大BatchSize调度、批次内前缀复用、MoE Kernel动态调优等，还提及未来优化方向。
腾讯AI Lab开源可复现的深度研究智能体，最大限度降低外部依赖
腾讯AI Lab推出全开源智能体框架Cognitive Kernel - Pro，解决现有开源框架依赖付费工具问题。它有模块化架构等核心设计，创新训练方法，在多任务中表现出色，降低外部依赖，相关论文登HuggingFace热榜。
ICML 2025 | 千倍长度泛化！蚂蚁新注意力机制GCA实现16M长上下文精准理解
在大语言模型发展中，长文本建模挑战大。蚂蚁研究团队提出注意力机制GCA，可端到端学习检索相关片段，实现超长序列处理与泛化，其Triton kernel实现已开源，论文被ICML 2025接收。
升级版Qwen3开源模型深夜来袭，超越Kimi-K2、DeepSeek-V3
深夜阿里千问推出 Qwen3-235B-A22B-Instruct-2507-FP8 版本。新模型通用能力显著提升，在多测评中表现出色，超 Kimi-K2 等模型。还增强多语言知识覆盖等性能，已在魔搭和 HuggingFace 开源。
开源模型首超Opus4.6！智谱GLM-5.1登场，14小时后CUDA专家被冲了
智谱开源模型GLM - 5.1带来重大突破，14小时完成CUDA Kernel优化，加速比大幅提升。它解锁与顶尖闭源模型Claude Opus 4.6全面对齐，在多测试中表现优异，展现长程任务能力，改写行业叙事逻辑。