「训练方法升级」共找到 4015 篇相关文章
从零开始200行python代码实现LLM
文章从传统思路实现诗词生成器入手，介绍了词汇表、Bigram模型等概念，接着用Python和PyTorch实现了真正的Bigram模型，阐述模型、训练等内容，最后回顾成果，下一篇将基于此实现完整GPT。
大模型评估排障指南 | 关于 LaTeX 公式解析
这是大模型评估排障指南系列第二篇，聚焦 LaTeX 公式解析。评估难点是解析和比较模型输出与标准答案，无标准方法。lm - evaluation 框架用 sympy 解析准确率约 0.94，还给出缓解问题办法。
GPT-5 最强大的，是编程
据报道，OpenAI的GPT - 5即将到来且早期反馈积极。它在编程领域表现突出，尤其在实际编程任务上有提升，不过其具体形式存疑，改进或多来自后训练阶段的强化学习。
何恺明首个语言模型：105M参数，不走GPT自回归老路
何恺明团队推出全新连续扩散语言模型ELF，不走GPT自回归老路。它将生成过程留在连续embedding空间，最后离散化变回token。ELF用较少参数、训练token和采样步数，跑赢主流扩散语言模型。
OpenAI公告正经解释：为什么GPT-5.5爱说“哥布林”
OpenAI官网发公告回应GPT-5.5爱说“哥布林”问题。原来是对“书呆子”人格训练时，无意中对使用生物比喻的模型给予高奖励，导致“哥布林”表述扩散。之后移除相关奖励和过滤数据来解决。
SGLang 中的 CUDA Graph 进阶指南
本文介绍 SGLang 构建 CUDA Graph 支持及改动。如 Runner/Backend 解耦与灵活组合；首创 Breakable CUDA Graph 并开源，能提高捕获灵活性；还实现 Prefill 的 Full CUDA Graph，同时介绍显存管理方法。
AI精准编辑门槛大降：开源框架提升编辑一致性，即插即用
近日，中山大学、香港中文大学等团队发布研究成果ProEdit。它通过对注意力机制和初始噪声潜在分布处理，实现高精度图像与视频编辑，无需训练、即插即用，解决编辑效果与一致性平衡难题。
中国科学SCPMA | 南科大王建春团队：基于改进隐式轴向分解Transformer的三维槽道湍流快速预测
南科大王建春团队改进IFactFormer模型，采用“并行”轴向分解注意力机制，提升在复杂流动问题中的表征能力和稳定性。实验显示，改进模型拟合与长期预测能力强，多数指标精度优于传统方法。
普通程序员怎样转到AI方向拿到更好的offer
在AI研究员拿天价offer的当下，探讨普通程序员转AI方向拿更好offer的方法，还介绍了AI生态的五个层次，包括各层岗位、年薪及容量。
彻底改写Transformer！「能量驱动架构」横空出世，通用推理时代要来了？
UIUC、斯坦福与哈佛联合提出全新「能量驱动Transformer（EBT）」架构，打破「前馈即推理」旧范式，以能量最小化模拟人类思维，训练更高效、推理更精准，在多方面超越传统Transformer。