「零监督训练」共找到 2479 篇相关文章
千卡集群破壁之道：vivo视觉多模态大模型训练效率跃迁实战
多模态大模型在多领域需求增长，但千卡级 GPU 训练挑战大。vivo AI 架构师王兆雄在大会演讲，结合 LLaVA 和 DiT 模型实践，解析优化策略，分享提升训练效率与稳定性的经验，还展望了 AI Infra 未来。
李飞飞团队新作：DiT不训练直接改架构，模型深度减半，质量还提高了
本文介绍「嫁接」技术，可在小计算预算下编辑预训练 DiTs 探索新架构。不从头训练，替换算子创建混合架构，保持质量同时减少计算量。还通过实验展示该技术在构建高效架构和文生图模型中的效果。
昇腾+鲲鹏联手上大招！华为爆改MoE训练，吞吐再飙升20%，内存省70%
最近华为在MoE训练系统给出算子和内存优化新方案，三大核心算子全面提速，系统吞吐再提20%，Selective R/S实现内存节省70%，为大规模MoE模型训练扫清障碍。
Diffusion约2倍无损加速！训练-推理协同的缓存学习框架来了｜ HKUST&北航&商汤
HKUST、北航与商汤提出HarmoniCa框架，解决Diffusion模型推理慢、成本高问题。它通过SDT和IEPO机制，解决训练 - 推理脱节，在多模型上实现推理提速、质量提升，且训练推理开销低，已开源。
无预训练模型拿下ARC-AGI榜三！Mamba作者用压缩原理挑战Scaling Law
CompressARC研究中，Mamba作者Albert Gu团队给出不同于大规模预训练的智能配方——最小描述长度（MDL）。一个76K参数、无预训练模型，在ARC - AGI - 1基准解决20%问题，获ARC Prize 2025第三名。
AI 基础知识从 0.6 到 0.7—— 彻底拆解深度神经网络训练的五大核心步骤
文章以 PyTorch 手写数字识别代码为引，深入剖析深度神经网络训练的五大核心步骤，涵盖前向传播、计算损失、反向传播、更新参数和循环训练，还介绍激活函数、Dropout 等概念及正则化、优化器等技术。
AI能自己打红警了！经济拉满零交战惨遭打脸，玩家笑疯
Hugging Face推出OpenRA-RL，将《红色警戒》改造成大模型的Agent训练场，50个MCP游戏工具全量暴露，25Hz实时状态流推送，打通三条训练路线，原生接入OpenEnv生态。实战中，Agent经济满分但战斗零分。
OpenAI新模型，被曝秘密训练中！万字硬核长文直指o4核心秘密
SemiAnalysis爆料，OpenAI正训练规模介于GPT - 4.1和GPT - 4.5间的新模型，下一代推理模型o4基于GPT - 4.1训练。强化学习成推理模型进步功臣，但面临基础设施瓶颈，奖励函数难定等问题。
Agentic RL 后训练资源怎么分？港中文、恒生大学提出 Libra，吞吐最高提升 3 倍
大语言模型走向“完成任务”，Agentic RL 后训练让系统工作负载不稳定。港中文和恒生大学团队提出 Libra 资源管理系统，统一优化训练与 rollout，在多任务中提升吞吐，论文与代码已公开。
EMNLP2025 | 揭开LLM训练数据中的中文污染真相，有比“您好”高2.6倍的token？
近年来，大型语言模型虽成功，但训练数据易混入不良内容。论文《Speculating LLMs' Chinese Training Data Pollution from Their Tokens》探索此问题，定义PoC Token，开发PoCDetect和PoCTrace工具，揭示LLMs训练数据污染情况。