「MXFP8量化Kernel」共找到 239 篇相关文章
MOE RL实战：统一FP8全流程训练
SGLang RL团队等联合完成工作，实现RL中全流程FP8训练与采样。介绍FP8训练硬件基础、格式、scale选择等，指出训练难点，分析KL Loss异常归因，验证其在MoE模型RL应用效果，还探究模型规模对训推不一致性的影响。
全新 AI 消息模型：Apache RocketMQ 如何让 AI 应用拥抱事件驱动架构？
AIGC浪潮下，大语言模型重塑应用开发范式，开发者构建AI应用面临诸多挑战，需可靠高效的异步通信机制。Apache RocketMQ在AI时代演进，有轻量化通信与智能化资源调度两大创新，还介绍了多场景实践。
【博客转载】CUDA Local Memory
文章围绕CUDA本地内存展开，介绍其为线程私有存储空间，访问特性与全局内存类似。通过两个计算滑动平均值的CUDA kernel示例，展示数组索引复杂度对存储位置的影响，还给出判断存储位置的方法及优化建议。
LeCun有了新证据！大模型思考与人类思考存在本质差别
Yann LeCun参与的研究用信息论揭示大语言模型与人类在‘理解世界’上的本质差异。研究引入新量化框架，分析主流大模型，发现AI与人类在‘理解’上有三大核心差异，对当前AI发展趋势提出挑战。
ICML 2025 | 注意力机制中的极大值：破解大语言模型上下文理解的关键
ICML 2025新研究揭示，在使用RoPE的现代Transformer模型里，注意力机制Q和K表示有集中极大值，V表示无此模式。研究通过实验明确极大值与上下文知识理解的联系，对模型设计、优化和量化有重要启示。
后OpenClaw时代！国产Agent模型凭「高配低价」叫板Opus 4.6
昆仑万维旗下天工AI发布SkyClaw - v1.0智能体模型及轻量化版SkyClaw - v1.0 - lite。该模型在底层能力提升，适配主流框架，跑分和实际应用表现出色，还具有低门槛、高性价比优势，限时免费体验。
读完这篇，你就搞懂 DeepSeek v4 了
2026年4月24日，DeepSeek全新系列模型DeepSeek - V4预览版上线并开源，评分接近‘闭源三巨头’。该模型强在1.6T参数+1M上下文，还有从attention到kernel的系统级重构与优化，在架构和工程层面均有创新。
DeepSeek被曝融资20亿…可幻方一年就挣50亿啊？
DeepSeek被曝计划首次融资，目标估值超100亿美元，计划融资至少3亿美元。但此前多次融资传闻均被辟谣，且其母公司幻方量化盈利能力强。若融资，或为锚定股权价值、激励人才及获非财务价值。
0.016%参数撬动18%性能：关键表征微调破解LLM推理瓶颈
大语言模型在推理任务依赖思维链技术，传统PEFT方法需修改大量参数，新兴ReFT虽只需调整少量参数，但存在不足。本文提出CRFT，仅用0.016%参数量就提升性能，为轻量化推理增强开辟新路径。
中文互联网“build in public”的新实验，为什么会是AMA？
文章探讨小红书上AMA形式爆火的原因。它与Reddit不同，得益于小红书平权分发、垂直推荐、轻量化设计等特点。AI圈因开源精神成首批用户，AMA为双边提供价值，还让小红书向专业领域拓展。