搜索：深度学习模型训练

「深度学习模型训练」共找到 8695 篇相关文章

MOE RL实战：统一FP8全流程训练

SGLang RL团队等联合完成工作，实现RL中全流程FP8训练与采样。介绍FP8训练硬件基础、格式、scale选择等，指出训练难点，分析KL Loss异常归因，验证其在MoE模型RL应用效果，还探究模型规模对训推不一致性的影响。

在大模型竞争中，2023 年成立的百川战略收缩聚焦医疗，起初内外存疑。2025 年，AI 医疗技术与应用进展显著，今年初大厂入局。百川如今开源 Baichuan - M3 模型，王小川认为医疗已入应用阶段、多模态非主战场，且国内 To C 更好。

Yann LeCun在播客专访中火力全开，炮轰Hinton认可LLM是想摆烂退休，直言LLM不是通往智能的路，还吐槽Meta卷入LLM竞赛后无法专注研究。他介绍了新公司AMI和世界模型、JEPA等技术，认为JEPA类世界模型五年内将统治AI圈。

这是使用纯原生PyTorch加速生成式AI模型系列博客的第四部分，专注加速FAIR的Seamless M4T - v2模型。通过torch.compile + CUDA Graph，在不损失精度下实现text decoder模块2倍、vocoder模块30倍加速，端到端推理2.7倍加速。

Andrej Karpathy 在与知名播客主持人 Dwarkesh Patel 的对谈中指出当下 LLMs 研究进展、Agents 存在的实际问题，如‘AGI 仍需十年时间’‘LLM 认知有缺陷’‘强化学习很糟糕’等。他还对关键争议点做了补充回应，包括对 AGI 时间线、强化学习局限性等的看法。

复旦大学与美团LongCat Team联合推出R - HORIZON，它是首个系统性评估与增强LRMs长链推理能力的方法与基准。提出Query Composition方法构建评测基准和训练数据，评测发现主流模型长链推理性能断崖式下降，还分析出三大瓶颈，训练后模型性能双重提升。

Anthropic大佬分享FDE岗位价值，指出其非外包，是面向客户的软件工程师。还阐述适合的人才、团队，纠正三大误区，强调客户买的是解决问题的过程，现场沟通能力正升值。

硅谷风投投资人Jaya Gupta指出，当AI领域趋同，产品易被复制时，公司组织形态才是难以复制的护城河。如OpenAI、Palantir围绕新型工作创造新型机构，吸引特定人才。公司应匹配叙事与组织形态，选人要注重结构认可。

阿里云等团队推出面向 Sparse Attention 的分层稀疏化框架，介绍其架构、机制与实践。此框架破解了长上下文推理时的计算与容量瓶颈，以 DeepSeek DSA 集成测试，使推理性能大幅提升，目前项目处于开发阶段。

OpenAI前员工在博客分享工作体验，从文化、技术等多维度剖析公司。指出极速扩张面临挑战，文化独特，技术上用Python单体代码库、依赖Azure，还详述Codex项目诞生，认为AGI竞赛在OpenAI等三家展开。