「训练数据生成」共找到 5518 篇相关文章
扩散不死，BERT永生！Karpathy凌晨反思：自回归时代该终结了?
苹果前员工Nathan Barry得出BERT本质是文本扩散一步的结论，将表示学习算法改造成生成算法。OpenAI创始员工Karpathy对此沉思，认为生成逻辑在LLM架构中可变。实验证明RoBERTa可转为生成引擎。
阿里刚刚开源了一款影视级配音项目，口型同步、音色转换都不是事！
阿里通义实验室语音团队联合中科大发布多模态电影配音模型Fun - CineForge，开源模型并构建中文电视剧配音数据集。它能处理多种场景，有视频理解等亮点，还给出制作数据集步骤。
deepseek-V4算法工程技术深入浅出
文章围绕deepseek V4技术报告展开，指出当前大模型训练不充分，介绍了算法层面如混合注意力机制、模型结构优化、优化器等，工程层面如细粒度专家并行、算子内核开发等，以及后训练的范式转变和领域专家网络蒸馏等内容。
SimpleTIR：让大模型“边写代码边思考”不再崩溃
SimpleTIR可解决多轮工具调用中训练崩溃问题。作者指出崩溃原因是分布偏移、低概率token链式雪崩和梯度爆炸。它采用void turn过滤，掐断崩溃链路，训练稳定，还催生多样推理行为，且工程友好已开源。
实测Gemini图片转视频新功能，终于蹲到经典梗图后续了（doge）
Gemini接入带声音的图片转视频功能，作者实测该功能。用开盒指令测试，生成速度较快；还尝试给梗图加后续，发现生成精确内容需详细提示词，且不能生成具体真人形象内容。
让AI自我进化？斯坦福华人博士答辩视频火了，庞若鸣参与评审
斯坦福大学博士生 Zitong Yang 完成「持续自我提升式 AI」博士论文答辩并分享视频。他针对当前模型局限提出解决方案，涵盖合成持续训练、预训练能力自我提升、迈向 AI 设计 AI 三个核心方向，引发行业关注。
快手提出强化学习创新框架RLEP，突破大模型推理瓶颈
OpenAI等模型用强化学习提升推理能力，但面临训练不稳定等挑战。快手Klear团队提出RLEP框架，引入经验回放技术，分经验收集和回放训练两阶段，还采用优化策略，提升大模型训练效率和性能。
当机器人学会「看」和「说」之后，如何让它们真正拥有「手感」？
今年四月，戴盟机器人联合多家机构发布含触觉全模态具身数据集 Daimon-Infinity 并开源 10000 小时数据。IEEE 与戴盟联合创始人王煜教授深度对话，探讨触觉感知对机器人技术格局的影响、具身机器人落地场景等问题。
DeepSeek-GRPO重要性权重设计错误？详解Qwen3新强化学习算法GSPO
论文指出GRPO在大语言模型训练中不稳定，因其重要性权重设计错误易引入高方差噪声。为此提出GSPO算法，从序列维度计算梯度，解决了MoE模型RL训练的稳定性问题，在Qwen3上效率更高。
逐个token太慢！大模型原生并行出token，CMU、英伟达新作Multiverse
卡耐基梅隆大学（CMU）和英伟达研究者提出Multiverse，这是能实现原生并行生成的新型生成模型。它解决了现有并行生成模型缺乏连贯性等问题，通过多方面协同设计构建推理模型，还开源了生态系统。