「FP8混合精度训练」共找到 464 篇相关文章
清华新框架让大模型学会「精读略读」！实现12倍端到端加速，基准评分翻倍
清华等团队提出全新框架RAM，受人类阅读认知启发，将“精读+略读”混合策略引入上下文压缩，突破现有方法效率瓶颈，在多任务上表现出色，实现12倍端到端加速，为长上下文LLM部署提供新范式。
面壁MiniCPM-SALA模型，稀疏-线性注意力，单卡吞吐百万上下文
面壁智能团队提出SALA，基于此训练的MiniCPM-SALA模型，在单张A6000显卡实现百万token超长上下文推理，训练成本降约75%。它结合稀疏与线性注意力，采用混合架构，继承权重降低成本，在长文本处理上优势明显。
中学生就能看懂：从零开始理解LLM内部原理【十三】｜GPT 架构如何工作 ？
本文是对GPT架构工作原理的解读。介绍了GPT与Transformer的关系，阐述其从输入文本到预测下一词概率的流水线，详述训练和推理流程，还提及GPT架构进化的混合专家（MoE）模型。
逆天！Mata用13个参数26字节让模型正确率从76%飙升至91%
Meta等机构研究人员发布TinyLoRA极致微调技术，配合强化学习，能在几乎不改变大模型原有结构下，用极少数参数激发其推理能力。该技术在数学推理上表现出色，还探索了参数共享策略和存储精度问题。
刚刚，百度最新开源神作：PaddleOCR-VL-1.5上线了
1月29日百度开源新一代文档解析模型PaddleOCR-VL-1.5，参数仅0.9B，在OmniDocBench V1.5评测中综合性能全球第一，精度达94.5%。它支持异形框定位，解决真实文档解析难题，在多场景表现出色。
Strix AI驱动的漏洞动态验证能力分析
传统SAST工具只能发现‘可能有问题的代码’，无法确认漏洞是否可被利用，导致高误报率。Strix采用‘静态分析 + 动态验证’的混合模式，先定位可疑点，再对漏洞进行真实攻击验证，显著降低误报率。
阿里Qwen又悄悄放出8个开源权重，卷疯了~
阿里通义千问太卷，悄悄放出8个开源模型权重，包括体积更小的Qwen3-VL及FP8权重。这一代实现全方位升级，提供两种架构、两个版本，架构也有更新，还给出使用示例与模型权重链接。
AST | 西交大牛笑天、陈刚等：基于多尺度网格融合技术的复杂三维构型流场时空智能推理方法
文章针对复杂三维外形的强非线性非定常流场推理难题，提出MSGF数据预处理方法与DTECAU - 3D模型联合框架。MSGF解决数据提取难题，DTECAU - 3D解决传统U - net问题，经测试验证该框架效果良好。
Qwen3-Next：迈向更极致的训练推理性价比
文章发布Qwen3-Next架构及Qwen3-Next-80B-A3B系列模型，通过混合注意力等改进提升训练推理效率。介绍模型结构、性能优势，还说明使用方法，包括在多平台部署及处理超长上下文，展望持续优化架构。
专为“超大模型而生”，新一代训练引擎 XTuner V1 开源！
9月8日，上海AI实验室开源书生大模型新一代训练引擎XTuner V1。它能应对复杂训练场景、速度更快，尤其在超大规模稀疏混合专家（MoE）模型训练中优势显著。还将一并开源AIOps工具DeepTrace与ClusterX。