「视觉预训练」共找到 2667 篇相关文章
535B大模型“直播”训练三个月：代码、数据、Loss全公开，吴恩达公开力挺
当多数模型公司还在争论是否开放权重时，斯坦福大学的Marin项目启动535B-A23B模型训练，并公开训练过程。该项目旨在探索基础模型能否像开源软件一样被公开研究和建设，引发关注。
大模型被确诊「视觉文盲」！多校联合提出MILO，为它植入空间想象力
空间推理是多模态大语言模型（MLLMs）应用关键挑战，当前‘语言描述式调优’让模型成‘视觉文盲’。多校联合提出MILO范式，结合视觉生成反馈与语言调优，还构建GeoGen数据集，经五大任务验证其有效。
昇腾+鲲鹏联手上大招！华为爆改MoE训练，吞吐再飙升20%，内存省70%
最近华为在MoE训练系统给出算子和内存优化新方案，三大核心算子全面提速，系统吞吐再提20%，Selective R/S实现内存节省70%，为大规模MoE模型训练扫清障碍。
YOLOv8 模型训练入门指南：手把手搞定目标检测AI
本文是从零训练 YOLOv8 模型的完整实录，介绍了 YOLOv8 特点，以“识别猫”为例，详述训练步骤，指出训练难点，还推荐学习资源与工具，鼓励前端程序员尝试做 AI 模型训练。
One RL to See Them All？一个强化学习统一视觉-语言任务！
国内初创公司 MiniMax 提出 V-Triune 系统，可让 VLM 单一训练流程学视觉推理和感知任务。它含三个组件与动态 IoU 奖励机制，基于此的 Orsta 模型在多项测试中性能提升显著，凸显统一 RL 方法有效性和可扩展性。
Diffusion约2倍无损加速！训练-推理协同的缓存学习框架来了｜ HKUST&北航&商汤
HKUST、北航与商汤提出HarmoniCa框架，解决Diffusion模型推理慢、成本高问题。它通过SDT和IEPO机制，解决训练 - 推理脱节，在多模型上实现推理提速、质量提升，且训练推理开销低，已开源。
新范式来了！新能量模型打破Transformer++扩展上限，训练扩展率快35%
研究训练新能量模型 EBT，为输入和预测分配能量值，模拟思考过程。它有跨模态、跨任务通用性，训练扩展率比 Transformer++ 高 35%，推理性能提升 29%，还在多任务中表现出色，是扩展模型能力新范式。
AI 基础知识从 0.6 到 0.7—— 彻底拆解深度神经网络训练的五大核心步骤
文章以 PyTorch 手写数字识别代码为引，深入剖析深度神经网络训练的五大核心步骤，涵盖前向传播、计算损失、反向传播、更新参数和循环训练，还介绍激活函数、Dropout 等概念及正则化、优化器等技术。
OpenAI新模型，被曝秘密训练中！万字硬核长文直指o4核心秘密
SemiAnalysis爆料，OpenAI正训练规模介于GPT - 4.1和GPT - 4.5间的新模型，下一代推理模型o4基于GPT - 4.1训练。强化学习成推理模型进步功臣，但面临基础设施瓶颈，奖励函数难定等问题。
Agentic RL 后训练资源怎么分？港中文、恒生大学提出 Libra，吞吐最高提升 3 倍
大语言模型走向“完成任务”，Agentic RL 后训练让系统工作负载不稳定。港中文和恒生大学团队提出 Libra 资源管理系统，统一优化训练与 rollout，在多任务中提升吞吐，论文与代码已公开。