搜索：MXFP8量化Kernel

「MXFP8量化Kernel」共找到 239 篇相关文章

Transformers来到了v5时代：从工具包到真理之源，AI时代的操作系统内核的极简进化论

Transformers v5发布，通过极简定义和极致互通成AI生态核心。它做减法重构代码、拓展训练流程、成推理引擎弹药库、提升量化为核心功能，连接训练、推理与部署，是AI生态通用语言。

文章围绕育儿量化指标、写提示词的难点、培训出路、AI生成PPT的局限、MCP协议误区等多个话题展开讨论，还推荐了物理科普书《解析物理的十层之旅》。

淘宝搜索场景引入大参数LLM模型，面临系统性能挑战。本文分享基于RTP - LLM框架的优化实践，如大BatchSize调度、批次内前缀复用、MoE Kernel动态调优等，还提及未来优化方向。

腾讯AI Lab推出全开源智能体框架Cognitive Kernel - Pro，解决现有开源框架依赖付费工具问题。它有模块化架构等核心设计，创新训练方法，在多任务中表现出色，降低外部依赖，相关论文登HuggingFace热榜。

在大语言模型发展中，长文本建模挑战大。蚂蚁研究团队提出注意力机制GCA，可端到端学习检索相关片段，实现超长序列处理与泛化，其Triton kernel实现已开源，论文被ICML 2025接收。

阿里Qwen团队开源Qwen3.8-27B，上线2天登顶Hugging Face全球大模型趋势榜，下载破百万。其性能超Opus4.6，与顶尖模型相当，量化后普通电脑就能跑，原生多模态，编程、Agent、多模态跑分表现出色。

谷歌新论文通过180组实验找到智能体的Scaling Law（定量扩展原则），在四个基准测试评估，推导预测模型，实验结果颠覆直觉，还量化阻碍因素，发现不同模型协作性格，为智能体部署决策提供支撑。

当下大模型在与用户交互时存在不足，来自UIUC与Salesforce的UserBench和UserRL两篇新作，将‘用户价值’量化，把‘可测的交互’转化为‘可训练的策略’，从评测和训练层面推动模型向‘懂用户’转变。

智谱开源模型GLM - 5.1带来重大突破，14小时完成CUDA Kernel优化，加速比大幅提升。它解锁与顶尖闭源模型Claude Opus 4.6全面对齐，在多测试中表现优异，展现长程任务能力，改写行业叙事逻辑。

南大团队研究LLM在多操作数加法中的内部表征结构，发现算术状态呈高度结构化几何流形。提出等本位和轨迹与噪声量化模型，解释模型算错加法原因，还设计推理时纠错方法。