「LLM训练」共找到 2865 篇相关文章
ACL'25最佳论文解读 | 大模型也会‘弹簧回弹’？揭秘 LLM 对齐的脆弱根源
本文分享 ACL 2025 最佳论文，指出预训练大模型存在‘抗对齐’的 Elasticity 现象，即对齐微调只是暂时拉伸，后续微调会让其迅速弹回预训练分布。研究量化该概念，用‘压缩理论’刻画对齐并实验验证。
LLM将是又一个“惨痛教训”？强化学习之父Sutton再放炮：万亿美金AI泡沫可能破裂
强化学习之父Sutton在采访中认为，LLMs过度依赖人类知识，违背‘惨痛教训’原则，发展将遇瓶颈，当前投资和期望或致泡沫破裂。讨论还涉及LLM与强化学习、人类模仿方式差异及AI领域经济动态等。
奖励模型预训练新范式POLAR：突破强化学习短板，有望打通RL链路扩展“最后一环”
强化学习中奖励模型设计与训练是瓶颈，上海人工智能实验室提出奖励建模新范式POLAR。它摆脱传统“绝对偏好”限制，契合强化微调框架，通过对比学习训练，实验证明其性能和泛化性佳，有望打通RL链路扩展最后一环。
剑指“美国版 DeepSeek！”Ai2 科学家 Nathan Lambert 最新访谈：剖析 RLVR、激辩智能体与后训练
艾伦人工智能研究所科学家 Nathan Lambert 在访谈中剖析 RLVR、激辩智能体与后训练。他所在团队用 Olmo 和 Tulu 模型揭开后训练魔法，带火 RLVR 概念。他还谈到开源 AI 未来，想打造“美国版 DeepSeek”。
亿级短视频数据突破具身智能Scaling Law！Being-H0提出VLA训练新范式
真机数据匮乏使具身智能VLA模型发展受限，现有真机数据与所需上亿级训练样本相差甚远。BeingBeyond团队提出创新性方案，利用人类视频手部数据构建数据集，训练出VLA模型Being - H0，经实验验证效果良好。
卡帕西8000行代码手搓ChatGPT，成本仅100美元，训练12小时CORE表现超越GPT-2，手把手教程来了
AI大神Andrej Karpathy新作nanochat，用8000行代码、100美元成本纯手搓克隆ChatGPT。它是极简全栈训练/推理pipeline，训练12小时，CORE表现超GPT - 2，还给出快速上手详细指南。
搜索智能体RAG落地不佳？UIUC开源s3，仅需2.4k样本，训练快效果好
当前 Agentic RAG 落地有挑战，UIUC 和 Amazon 提出 s3 训练范式。它仅需 2.4k 样本，训练快且效果好，解决了优化目标偏离、检索与生成耦合等问题，在通用和医学 QA 任务中表现出色。
三星研究院发布手机端侧大模型MeKi：基于Memory的LLM扩展新范式，支持旗舰手机端侧部署
三星研究院发布端侧大模型架构MeKi，提出用存储空间扩展模型容量、提升LLM性能的新范式。它利用手机ROM缓解内存压力，实现容量与性能提升。实验显示其性能、效率表现优，为边缘部署LLM提供新思路。
Qwen3 变身扩散语言模型？不从零训练也能跑，30B参数创纪录
扩散语言模型（DLM）潜力大但训练难，Radical Numerics团队改造Qwen3-30BA3B，推出30B参数的开源扩散语言模型RND1-Base。该研究系统性研究A2D转换关键因素，成果超现有部分模型，还提出简单方法及训练策略。
刚刚，Andrej Karpathy放出大招：开源nanochat项目，仅8000行代码100美元就能训练出一个ChatGPT
Andrej Karpathy发布nanochat项目，用8000行代码实现ChatGPT完整训练流程。在8xH100节点跑4小时、花100美元，就能有对话、写故事、答题的AI助手。项目覆盖广，含多训练步骤及评估体系。