「LLM训练」共找到 2908 篇相关文章
一个月的活一周干完！英伟达世界模型训练速度飙升400%
英伟达世界动作模型 DreamZero 训练成本高、耗时长，无问芯穹与清华等推出的 RLinf 框架，从算子融合到 I/O 全链路系统级重构，使训练吞吐拉高近 4 倍，还解决多类性能瓶颈，保证训练效果。
一篇LLM × DATA技术最新系统性综述
上交大、清华等联合发表综述，探讨LLM与数据管理双向关系，分析LLM不同阶段数据管理技术与挑战并给出方案，还讨论了LLM在数据管理任务中的应用进展，为研究和实践提供指导。
字节Seed团队发布循环语言模型Ouro，在预训练阶段直接「思考」，Bengio署名
现代LLM依赖显式文本生成训练“思考”，未充分挖掘预训练数据潜力。字节Seed团队联合多家机构推出循环语言模型Ouro，将推理能力构建到预训练阶段，实现参数效率提升，还降低了有害性。
训练即服务！让模型训练回归算法语义，150行代码跑通RL
ModelScope团队开源Twinkle框架，采用Client - Server架构，支持20余种算法组件。开发者约150行代码就能编排复杂RL训练循环，底层调度等交给框架。它兼顾易用性与灵活性，有多种特点和优势，代码已开源。
LeCun 对线 DeepMind：LLM 永远造不出机器人水管工
图灵奖得主 Yann LeCun 和 Google DeepMind 的 Adam Brown 就 LLM 是否真正理解世界展开争论。LeCun 认为 LLM 虽在符号操作领域出色，但难理解物理世界；Adam Brown 则觉得 LLM 正涌现对宇宙的真正理解。
AI玩拼图游戏暴涨视觉理解力，告别文本中心训练，无需标注的多模态大模型后训练范式
在多模态大模型后训练浪潮中，现有方法多以文本为中心。MMLab@南洋理工大学提出Visual Jigsaw，将拼图任务用于后训练，让模型不依赖标注强化视觉感知与理解，在图片、视频和3D模态验证有效。
把AI 时代最重要的判断力当专业学科训练，专注提升判断力
文章指出AI时代人们多只有“领域内判断力”，判断力可当学科训练。介绍预测大赛中普通人表现超CIA分析师，1小时训练能提升10%准确度，还给出判断力3层栈框架及30天训练清单。
字节Seed新作：模型合并如何改变大模型预训练范式
字节跳动Seed团队在arXiv发表论文，提出预训练模型平均（PMA）技术。该技术将模型合并引入预训练阶段，可提升性能、预测衰减阶段表现，还能解决训练问题。不过，高学习率影响和强化学习应用待研究。
LeCun炮轰Hinton：他认可LLM就是想摆烂退休了！
Yann LeCun在播客专访中火力全开，炮轰Hinton认可LLM是想摆烂退休，直言LLM不是通往智能的路，还吐槽Meta卷入LLM竞赛后无法专注研究。他介绍了新公司AMI和世界模型、JEPA等技术，认为JEPA类世界模型五年内将统治AI圈。
【万字长文】大模型训练推理和性能优化算法总结和实践
本文总结大模型落地的训练、推理和性能优化算法与实践，介绍语言模型发展，对比BERT、GPT等训练方式，分析生成式大模型问题，还阐述数据处理、推理优化及训练调优等内容，并给出不同场景技术选型建议。