「FP4训练」共找到 3398 篇相关文章
训练效率提升25%、成本降23%！上海期智研究院、算秩未来联合推出MegatronApp：专为万亿参数大模型训练打造的系统工具包
上海期智研究院联合算秩未来在WAIC 2025大会发布开源项目MegatronApp，它是国内首个围绕Megatron - LM的增强工具链。经实际数据，其在该框架下训练效率提25%、成本降23%，含四大模块解决训练难题。
Agent大革命！Claude 4连续自动编程7小时，刷新世界记录
今天凌晨Anthropic召开开发者大会，发布Claude 4，含Opus 4和Sonnet 4。Opus 4编程智能体连续工作7小时破纪录，Sonnet 4在SWE - bench表现超前沿模型。还新增功能，Claude Code开放，API也有新特性，Sonnet 4免费但有限制。
AI编程新王Claude 4，深夜震撼登基！连续编码7小时，开发者惊掉下巴
Anthropic发布全球最强编程模型Claude 4，含Opus 4和Sonnet 4。Opus 4是顶尖编码模型，Sonnet 4是Sonnet 3.7的重大升级。还发布系列产品，Claude 4定价与此前一致，部分用户可体验。
追平GPT-4o，数学基测96.3%高分，Hermes4 来了
Nous Research推出新一代大模型Hermes 4系列，其有混合推理和长度控制机制，还能用DataForge“造”数据，经Atropos质检。它在数学等领域表现佳，追平GPT - 4o，是开源AI对巨头的挑战。
全靠Claude4！30年FAANG老工程师：AI帮我解决了4年老bug
5月22日Anthropic推出Claude 4系列大模型，Claude Opus 4是领先编码模型。Reddit上30多年经验的前FAANG工程师称，它解决了困扰自己4年的C++ Bug，引发热烈讨论。
4K-Agent：可将低分辨率图像提升至4K高清智能体
图像超分辨率技术在多种视觉任务中重要，但传统方法泛化能力有限。德克萨斯A&M等大学研究人员推出4K Agent，其多智能体架构能将低分辨率图像提至4K高清，在多领域测试表现出色。
梁文锋突袭马斯克！DeepSeek V4 Pro对战Grok 4.6，首测夯爆了
梁文锋凌晨发布DeepSeek V4 Pro正式版，马斯克推出Grok 4.6，二者在多项评测中表现出色，直逼OpenAI和Anthropic顶尖模型，还降低了前沿智能价格。首测中，二者在真实任务场难分伯仲。
一夜之间，DeepSeek V4 Pro和Grok 4.6把全球大模型推入了新的斩杀线。
DeepSeek V4 Pro和Grok 4.6在两小时内发布，逼近Claude Fable 5体验。作者分享常用AI组合，分析两模型优缺点，指出它们撕开大模型不可能三角，形成新斩杀线，让夹在中间的模型难受。
为什么BF16的FlashAttention会把训练「炸掉」？清华首次给出机制解释，用极简改动稳住训练
社区里长期存在的FlashAttention+BF16训练GPT - 2时loss突然爆炸的问题，清华团队论文给出机制解释。指出是特定条件下数值偏置被放大所致，还给出极小修改稳定训练，且在多模型和硬件上验证有效。
LLM的RL训练轨迹竟然是线性的？Miaow Lab｜新工作：无需继续训练，直接“预测”未来模型！
文章介绍《Not All Steps are Informative: On the Linearity of LLMs' RLVR Training》，揭示RLVR训练中LLM权重和输出概率线性变化，提出“权重外推”法，可实现6.1倍训练加速，还介绍三种策略及实验结果。