搜索：训练方法升级

「训练方法升级」共找到 4013 篇相关文章

多模态大模型中Attention机制暗藏「骗局」，需用一个公式修正丨上大×南开

上海大学曾丹团队研究发现，主流VLM中attention受位置偏置和padding区域异常高attention影响，直接用其进行视觉token剪枝会丢失关键信息。团队用公式对attention去偏，集成到多种剪枝方法，提升了模型性能。

近日，寻明生科宣布完成1亿美元B轮融资，累计近2亿美元。资金将投入生物基座模型研发与规模化训练，升级Lab - in - the - Loop体系。该公司构建闭环AI原生基础设施，其模型能力获验证，商业变现多元。

本文聚焦基于模型的离线强化学习，指出RAMBO算法存在保守性难控和训练不稳问题。为此提出ROMI方法，引入鲁棒价值感知框架与隐式可微自适应加权机制，在多基准任务上超越基线算法。

Deep Cogito 是旧金山 AI 初创公司，开源四款混合推理模型。最大 671B MoE 模型性能超 DeepSeek v3 等，推理链比 DeepSeek R1 短 60%，训练成本不到 350 万美元。核心方法是迭代蒸馏与增强。

BOSS直聘楠北阁团队发布3B轻量端侧小模型Nanbeige4.1-3B，性能震惊海外开发者。团队从多方面改进，如优化推理和偏好对齐，重构训练数据，采用多种强化学习算法，使其性能比肩大模型。

最新研究证实RL能增强LLM推理，但成效受限预训练token分布。腾讯LLM部把交叉熵重写成单步策略梯度，用超参压熵，为RL打造‘低熵高信号’起点，经实验验证低熵模型优势明显。

苹果联合港大开源扩散大语言模型DiffuCoder，用扩散模型+强化学习策略，性能提升4.4%。研究还提出耦合梯度奖励策略优化方法，建立原生RL训练框架，探究了dLLM的生成机制等问题。

腾讯混元Phone - use Agent团队发布PhoneBuddy - 4B及5篇系列论文。研究探讨如何训练真实可用的Phone - use Agent，采用Real + Mock方式，实验显示该方法提升效果显著，4B模型多项任务超GPT - 5.4。

华中科技大学与小红书联合推出MOCR，提出「解析一切」新范式，将文档图形升级为「一等解析目标」。它解决传统OCR短板，在文档解析和图形重建表现出色，还革新评估方法，代码和模型已开源。

美国具身智能创业公司PI发布最新机器人基础模型π*0.6，新方法大幅提升具身智能成功率与处理效率。其开发的Recap方法从经验数据获训练信号，使模型能执行多项真实世界应用。