「训练芯片」共找到 2707 篇相关文章
为什么BF16的FlashAttention会把训练「炸掉」？清华首次给出机制解释，用极简改动稳住训练
社区里长期存在的FlashAttention+BF16训练GPT - 2时loss突然爆炸的问题，清华团队论文给出机制解释。指出是特定条件下数值偏置被放大所致，还给出极小修改稳定训练，且在多模型和硬件上验证有效。
一文看懂华为昇腾芯片
文章介绍华为昇腾芯片，它是面向高性能AI计算的NPU芯片，有昇腾310、910、610等系列。还提及芯片演进、参数、价格、出货量等情况，以及基于芯片的硬件体系，覆盖多场景满足不同需求。
LLM的RL训练轨迹竟然是线性的？Miaow Lab｜新工作：无需继续训练，直接“预测”未来模型！
文章介绍《Not All Steps are Informative: On the Linearity of LLMs' RLVR Training》，揭示RLVR训练中LLM权重和输出概率线性变化，提出“权重外推”法，可实现6.1倍训练加速，还介绍三种策略及实验结果。
AI 芯片迎来 “三国杀” 时代？谷歌被曝截胡 Meta 芯片大单，英伟达 10% 收入遭抢，AMD 躺枪大跌
近日外媒报道，Meta 考虑采购谷歌 TPU 芯片，预计 2027 年投入使用。此消息使英伟达股价下跌，谷歌股价上涨。谷歌 TPU 有性能优势，虽 Meta 采用或面临集成挑战，但合作若成，AI 芯片竞争格局或变。
训练提速4.6倍！FP4+BF16双轨并行，NVIDIA×港大×MIT联手重新定义扩散模型训练速度上限
NVIDIA、港大、MIT团队提出Sol - RL，采用「FP4先探索、BF16再训练」框架，将扩散模型训练收敛速度最高提至4.64x，在速度与对齐效果间给出工程可行解法。
大模型竞赛转向：决胜关键为何是“后训练”？
大模型价值主战场正向后训练转移。xAI发布的Grok 4通过后训练取得强大性能，在多项测试中领先。后训练可解决通用模型产业落地难题，不同公司探索新方法，且后训练有五大关键要素，阿里云提供一体化支撑。
不造芯片的IBM把制程推到0.7nm！指甲盖大小芯片集成近1000亿晶体管，半导体底层物理有望突破
当地时间6月25日，IBM发布全球首个亚1纳米芯片技术0.7纳米节点，晶体管密度翻倍，性能和能效大幅提升。该技术源于纳米堆叠架构，若5年内量产有望革新AI芯片架构，但量产面临诸多挑战。
大模型开发者必读！拆解世界级AI模型的诞生，Hugging Face把4年模型训练经验写成了一本开源指南
Hugging Face发布《The Smol Training Playbook》，分享约4年构建SOTA模型和数据集的经验。手册涵盖是否训练、训练何种模型、如何训练等内容，强调数据质量重要性，还介绍了模型设计、训练中的实践与教训。
中国AI芯片大突围，DeepSeek V3.1引爆算力革命
DeepSeek V3.1发布，是中国AI技术自主性的战略突围。它有6850亿参数，采用UE8M0 FP8适配国产芯片，具混合推理架构、Agent能力等。其发布或重塑AI产业格局，推动国产芯片发展。
一文读懂：国产AI芯片与英伟达的差距有多大？
文章围绕国产AI芯片与英伟达的差距展开。从算力性能、生态壁垒、市场现状、技术瓶颈等方面分析差距，指出国产芯片虽在部分场景缩小差距，但高端训练和生态成熟度仍落后3 - 5年，突围需多领域突破。