「梯度旋转」共找到 51 篇相关文章
拆解大模型几项核心操作背后的数学与 Infra 优化逻辑
文章拆解大模型核心操作（RMSNorm、Softmax、Causal Mask、Sampling）背后的数学与Infra优化逻辑。指出Infra优化是用数学等价变换或精度妥协换硬件利用率和推理速度，还介绍各操作原理、问题及优化方法。
空间智能新作，影石开源户外全景重建算法
近日，Insta360 研究院联合高校提出 PanoLOG，首个面向全景输入的大规模户外三维重建工作。它解决全景分区难题，在多基准上取得领先渲染质量与小模型体积，还为户外具身智能等提供新思路。
极客说｜Unsloth 的全微调之路：从 Adapter 到 Full Fine-tuning
大语言模型参数多，微调难。Unsloth 原靠支持 Adapter 微调出名，现支持全参数微调，单卡就能搞定大规模模型训练。文章介绍其进化历程、关键技术、工程部署、使用优势及最佳实践。
强化学习没作用？人大DelTA精准识别关键token，推理正确率大幅上升
人大高瓴研究团队提出DelTA算法，不依赖经验为强化学习目标中每个token算最优权重。实验显示它适配主流强化框架，在多任务上提升base模型效果，还能让训练更稳定。
大模型"温故而知新"实现了！无需历史数据，Octopus 效果超越全数据训练｜CVPR‘26 Octopus
上海交通大学与vivo团队提出全新持续学习框架Octopus，首创无需历史数据的梯度正交化技术。实验显示，它在UCIT基准上表现超SOTA方法，还实现正向后向迁移，适合端侧部署。
GRPO训练不再「自嗨」！快手可灵 x 中山大学推出「GRPO卫兵」，显著缓解视觉生成过优化
GRPO在视觉生成流模型后训练阶段有显著提升，但clip机制存在系统性偏差，易使模型陷入过度优化。中山大学、快手可灵等团队提出GRPO - Guard，能降低过度优化风险，在多种任务中表现良好。
人形机器人开始打国球了！两台机器人完整打完11分制比赛
第二届世界人形机器人运动会8月22 - 26日将在「冰丝带」举行，港大超维战队的两台人形机器人按11分制自主打完一局。其采用自主研发的SMASH 2.0系统，团队还探讨技术难点、系统升级等问题。
腾讯提出SPO，告别Group
腾讯团队提出Single - stream Policy Optimization（SPO），回归单流策略梯度范式，解决组基方法瓶颈。它有多项亮点，如告别组同步、采用自适应价值跟踪等，在实验中提升了模型性能和训练吞吐。
苹果港大终结自回归时代？7B扩散模型发布，AI写代码逻辑彻底颠覆！
苹果联合港大开源扩散大语言模型DiffuCoder，用扩散模型+强化学习策略，性能提升4.4%。研究还提出耦合梯度奖励策略优化方法，建立原生RL训练框架，探究了dLLM的生成机制等问题。
Kimi新架构让马斯克叹服！17岁高中生作者一战成名
17岁高中生陈广宇作为共同一作的论文提出Attention Residuals技术，将注意力机制“旋转90度”。该技术可让模型“回头看”，经Kimi Linear 48B大模型验证，训练效率提升25%，推理延迟增加不到2%。