「LLM训练」共找到 2908 篇相关文章
豆包背后的“超算大脑”：字节ByteRobust系统跑20多万张GPU，性能刷新SOTA
字节跳动自研的ByteRobust系统登上SOSP 2025，部署于超20万张GPU平台，9600张GPU训练三个月ETTR达97%。该系统应对LLM训练故障，由控制和数据平面构成，能自动发现修复故障，提升训练效率与稳定性。
英伟达揭示RL Scaling魔力！训练步数翻倍=推理能力质变，小模型突破推理极限
学界对强化学习能否让模型学会新推理技能争论已久，过去研究多悲观。英伟达研究指出，问题源于任务在基础模型训练数据中过度呈现及训练步数不足。其ProRL框架提升训练步数，释放小模型潜力，还构建技术组合拳。
Cursor为Blackwell从零构建MXFP8内核，MoE层提速3.5倍，端到端训练提速1.5倍
Cursor团队从NVIDIA的Hopper H100s升级到Blackwell B200s后遇性能瓶颈，他们回归基础，从零重写MoE训练层，抛弃对现有CUDA库依赖，释放了Blackwell架构潜能，实现MoE层和端到端训练提速。
LLM应用测试范式的进化
文章指出传统软件测试方法在LLM应用中存局限，探讨将其与AI评估结合应对挑战。抽象出LLM应用三层架构模型，分析传统测试范式适用性，介绍AI安全分析方法，阐述测试挑战、范式转变及协同测试策略。
重塑记忆架构：LLM正在安装「操作系统」
现代大型语言模型（LLM）存在「记忆缺陷」，难以维持长期记忆。近期关于大模型记忆的研究增多，如 MemOS 等。文中介绍了长上下文处理能力与记忆的关系、记忆类型，以及实现 LLM 记忆的多种方法和相关研究成果。
LLM的“记忆外挂”来了！Supermemory新API：一行代码让LLM记忆“无限+省钱90%”
Supermemory公司发布Infinite Chat API，能让任何LLM有近乎无限上下文长度。用户一行代码就能切换，可扩展上下文、省90%成本、提性能，已上线，有免费试用额度，后续有固定费用和用量计费。
突发！OpenAI新模型Astra吓瘫奥特曼：暂停训练两周，GPT-6训练一并冻结
OpenAI宣布暂停内部最强大模型强化学习，Astra模型暂停训练两周，GPT - 6也暂停。原因包括Hugging Face安全纰漏和Astra网络攻击能力越线。还采取物理隔离、严格监控、打击作弊等措施，或有营销意图。
any-llm：又一个统一模型服务接口的Python代理库
Mozilla AI开发的开源项目any-llm，解决多LLM提供商接口统一问题，能让开发者用一个接口调用不同大语言模型。它吸取此前产品长处，有统一接口等优势，使用和安装简单。
图像编辑缺训练数据？直接从视频中取材，仅用1%训练数据实现近SOTA效果
百度研究人员提出将图像编辑视为退化的时间过程，Video4Edit利用视频预训练模型知识迁移，仅用主流编辑模型约1%监督数据，在图像编辑任务达近SOTA效果，解决数据稀缺与权衡难题。
从零开始200行python代码实现LLM
文章从传统思路实现诗词生成器入手，介绍了词汇表、Bigram模型等概念，接着用Python和PyTorch实现了真正的Bigram模型，阐述模型、训练等内容，最后回顾成果，下一篇将基于此实现完整GPT。