「后训练技术」共找到 5922 篇相关文章
Karpathy最新手搓!复现GPT-2成本狂降600倍:仅需507元3小时训练「最好的AI学习项目」
Andrej Karpathy的个人项目nanochat更新,现训练GPT - 2级别的LLM成本低于100美元,在单个8XH100节点上仅3小时花约73美元,较7年前成本降600倍,还列出关键优化技术,设排行榜。
专访火思动力Kevin Ding:未来选择Agent,要看它过去三十天学会了什么|甲子光年
本文是对火思动力创始人Kevin Ding的专访。他指出当下Agent会工作但不会成长,而如今市场需求、技术条件和数据供给成熟,可开展持续学习。他还阐述了后训练、产品应用、商业化等方面观点。
GPT-5核心推手闪电跳槽,Anthropic CEO高调炫耀员工留存碾压OpenAI,“AI第一公司”光环崩塌?
OpenAI后训练负责人、GPT - 5核心推手Max Schwarzer跳槽至Anthropic,此前也有多位技术领袖离开。OpenAI在商业版图扩张与伦理争议并存下,正从参数军备赛转向体验护城河,同时加速商业与政治布局,但面临人才流失等问题。
视频理解新标杆,快手多模态推理模型开源:128k上下文+0.1秒级视频定位+跨模态推理
快手开源能看懂视频并跨模态推理的大模型Keye-VL 1.5,其有时序定位、描述和推理能力,跑分领先。采用三段式架构和Slow-Fast编码策略,经四阶段预训练和多阶段后处理,团队成果多,推动多模态技术落地。
MOE RL实战:统一FP8全流程训练
SGLang RL团队等联合完成工作,实现RL中全流程FP8训练与采样。介绍FP8训练硬件基础、格式、scale选择等,指出训练难点,分析KL Loss异常归因,验证其在MoE模型RL应用效果,还探究模型规模对训推不一致性的影响。
模型、代码、数据全开源!轻松训练自己的垂类Agent!
Together AI联合Agentica推出`DeepSWE-Preview`,基于开源Qwen模型,用RL在SWE - Bench - Verified登顶。团队将模型权重、训练框架等全开源,抛弃SFT纯用RL训练,还分享训练秘籍和TTS技巧,为垂类Agent训练提供新范本。
AMD新论文颠覆认知:FP4训练不稳定,原因不是随机性不足
大模型训练成本高,降低训练精度可降成本。AMD联合宾州州立大学论文颠覆认知,揭示FP4训练不稳定源于结构性微缩放误差,非随机性不足,还在原生FP4硬件完成大模型预训练。
一个月的活一周干完!英伟达世界模型训练速度飙升400%
英伟达世界动作模型 DreamZero 训练成本高、耗时长,无问芯穹与清华等推出的 RLinf 框架,从算子融合到 I/O 全链路系统级重构,使训练吞吐拉高近 4 倍,还解决多类性能瓶颈,保证训练效果。
训练即服务!让模型训练回归算法语义,150行代码跑通RL
ModelScope团队开源Twinkle框架,采用Client - Server架构,支持20余种算法组件。开发者约150行代码就能编排复杂RL训练循环,底层调度等交给框架。它兼顾易用性与灵活性,有多种特点和优势,代码已开源。
从极速复制“死了么”APP,看AI编程时代的技术选型
本文以复刻‘死了么’APP为例,分析AI编程时代技术选型。介绍开发工具,如Qoder;给出技术选型原则,像选声明式技术栈;还阐述Supabase优势,能降后端复杂度、省运维成本。