「视频预训练」共找到 3032 篇相关文章
deepseek-V4算法工程技术深入浅出
文章围绕deepseek V4技术报告展开，指出当前大模型训练不充分，介绍了算法层面如混合注意力机制、模型结构优化、优化器等，工程层面如细粒度专家并行、算子内核开发等，以及后训练的范式转变和领域专家网络蒸馏等内容。
SimpleTIR：让大模型“边写代码边思考”不再崩溃
SimpleTIR可解决多轮工具调用中训练崩溃问题。作者指出崩溃原因是分布偏移、低概率token链式雪崩和梯度爆炸。它采用void turn过滤，掐断崩溃链路，训练稳定，还催生多样推理行为，且工程友好已开源。
谷歌也要「AI抖音」了！新Veo 3.1原生支持竖屏，4K分辨率高画质
谷歌Veo 3.1升级，全方位提升视频生成质量，新增竖屏和4K两大特性。它还提升创意、一致性和元素融合能力。谷歌借此进军AI短视频，结合自身优势推动“AI视频竖屏化”趋势。
快手提出强化学习创新框架RLEP，突破大模型推理瓶颈
OpenAI等模型用强化学习提升推理能力，但面临训练不稳定等挑战。快手Klear团队提出RLEP框架，引入经验回放技术，分经验收集和回放训练两阶段，还采用优化策略，提升大模型训练效率和性能。
阿里深夜开源王炸Agent！硬刚OpenAI，性能全面SOTA！
过去半年，开源Agent在解决复杂难题时难敌OpenAI。昨天阿里通义开源WebSailor模型，用完整可复现方法论挑战闭源霸权，通过构造L3合成数据、取精华训练轨迹、两步走训练策略提升性能。
对话灵感实验室：全帧率 VLM、低成本与分层部署，业务现场不止需要炫技模型
InfoQ对话格灵深瞳灵感实验室，探讨多模态大模型下视频理解问题。指出传统视频模型抽帧处理浪费算力和信息，介绍LLaVA - OneVision - 2.0突破长视频理解瓶颈，还提及“视觉智能工坊”助力业务落地。
DeepSeek-GRPO重要性权重设计错误？详解Qwen3新强化学习算法GSPO
论文指出GRPO在大语言模型训练中不稳定，因其重要性权重设计错误易引入高方差噪声。为此提出GSPO算法，从序列维度计算梯度，解决了MoE模型RL训练的稳定性问题，在Qwen3上效率更高。
实测惊艳全球的Veo3！音画同步无敌，贵是有原因的
谷歌开发者大会推出的Veo3模型，具备强大文本和图像转视频能力，首次实现视频与音频同步生成。实测中，它生成的视频音画效果惊艳，但也有翻车情况，谷歌还给出提示词编写指南。
港大赵恒爽团队论文：让扩散模型既拿高分又不「作弊」丨CVPR 2026
扩散模型虽能生成逼真图像，但存在“奖励作弊”问题。港大赵恒爽团队提出 GDRO 后训练方法，引入组级奖励优化机制，提升模型表现、缓解作弊，还提高训练效率，有明显工程价值。
RL 效率无损飙升 3 倍：厦大-Shopee-清华联合首创，将投机解码首次引入 RL，推理能力稳如初！
传统RLVR训练中，rollout阶段耗时成瓶颈。厦大 - Shopee - 清华联合团队提出SPEC - RL，将投机解码引入RL，训练提速2 - 3倍，避免重复生成，与主流算法兼容，在多项基准测试中性能稳定。