「FP8训练」共找到 2612 篇相关文章
Karpathy再放大招：8000行代码复现ChatGPT全栈，最低成本仅100美元，4小时跑完
Andrej Karpathy发布项目nanochat，是全栈式ChatGPT克隆体训练/推理流水线，代码约8000行，覆盖训练分词器、预训练等完整流程。介绍不同成本下模型表现，还回答网友关于架构、训练数据等问题。
谷歌Transformer过时了？清华姚班校友等三连击，爆改注意力！
谷歌提出新架构，参数减少40%，训练速度较RNN提升5 - 8倍，某些任务性能超Transformer 7.2%。新架构引入注意力偏向策略，用「保留」取代「遗忘」，还提出Moneta、Yaad、Memora三个新模型，在多任务上表现卓越。
打破数据质量鸿沟！清华腾讯Bee项目发布1500万高质量数据集，刷新MLLM全栈开源SOTA
全开源多模态大模型性能被闭源和半开源模型“卡脖子”，根源在于数据质量。清华与腾讯混元团队推出Bee项目，有三大核心贡献，产出的Bee - 8B模型表现领先，证明保证数据质量比堆量更有效。
我为马斯克扮演机器人！擎天柱背后竟是最贵「演员团」
外媒揭秘特斯拉擎天柱靠人工数据训练。在实验室，员工重复日常动作，由摄像机记录。工作体力消耗大，要求严格，团队曾超百人，还裁掉部分人员。虽马斯克看好，但实际仍在靠人力蹒跚学步。
商汤科技与南洋理工大开源空间智能多模态SOTA模型
商汤科技与南洋理工大学构建800万量级三维空间数据集，训练出开源SOTA多模态基础模型SenseNova - SI系列。该系列模型在多个权威测试中表现出色，部分超越GPT - 5，还展现出泛化等能力，且能赋能具身智能。
Unsloth让大模型跑在手机上！
Unsloth放出教程，可将其微调模型部署到Pixel 8和iPhone 15 Pro。用ExecuTorch技术优化，Qwen2 - 0.5B在旗舰机上表现流畅。教程介绍量化感知训练控制精度损失，还给出iOS和Android部署步骤及注意事项。
aiX-apply-4B逆袭DeepSeek-V3.2！aiXcoder发布代码变更应用模型，单卡推理提效15倍
3月25日，硅心科技发布专为代码变更应用场景设计的模型aiX - apply - 4B。它平均准确率达93.8%，超越Qwen3 - 4B和DeepSeek - V3.2，算力成本仅为后者5%，推理速度提15倍。还采用创新训练方法，适配企业场景。
Jina Code Embeddings: 为高质量代码搜索而生的0.5B/1.5B向量模型
本文介绍了 Jina AI 开源的代码向量模型 `jina-code-embeddings`，含 0.5B 和 1.5B 规模，有 GGUF 量化版本。它性能顶尖，支持多任务与 15 种语言，还介绍了训练方案、使用方法等。
通义实验室最新成果WebDancer：开启自主智能Deep Research的新时代
通义实验室推出 WebDancer，解决自主信息检索智能体构建难题。它创新合成训练数据，采用两阶段训练策略应对开放网络训练挑战，在多个基准测试中表现卓越，未来还将拓展能力。
字节清华智能体自动写CUDA内核，比torch.compile加速2.11倍
字节Seed与清华AIR团队开源CUDA Agent，在GPU内核优化基准KernelBench上成绩优异。它是大规模智能体强化学习系统，训练数据经多阶段构建，分阶段训练，全面超越商业模型，还开源了训练数据集。