「梯度旋转」共找到 51 篇相关文章
LSTM之父向何恺明开炮：我学生才是残差学习奠基人
LSTM之父Jürgen Schmidhuber替学生Sepp Hochreiter发声，称残差学习30年前已诞生，1991年Sepp就用循环残差连接解决梯度消失问题，为残差思想奠基。他觉得将成果全归何恺明团队有失偏颇。
音画同步视频生成重磅开源！Character AI和耶鲁大学推出Ovi，让音、画在一个大脑里思考
Character AI和耶鲁大学团队推出开源模型OVI，它采用双骨干交叉模态融合架构，让音视频同步生成。其架构对称，用旋转位置嵌入技术对齐时间，训练策略分步进行，生成效果佳，为开源音视频生成提供新路径。
原来Scaling Law还能被优化？Meta这招省token又提效
2017年《Attention Is All You Need》提出的Transformer是主流语言模型基础范式。Meta新论文提出旋转不变型三线性注意力机制，证明其表现能改变Scaling Law系数，还证实2 - simplicial Transformer在有限token预算下更优。
告别多奖励跷跷板：Flow-OPD将多教师OPD带入图像生成
中国科学技术大学等机构团队提出Flow - OPD，这是首个将OPD引入流匹配模型的统一多任务后训练框架。它解决了流匹配模型后训练对齐中多任务的梯度冲突等问题，效果良好，未来有多个拓展方向。
微软、哈佛开源创新优化器：全面超越Muon，提升大模型训练效率
随着大模型训练所需计算资源爆炸式增长，微软和哈佛团队联合开源优化器Dion。它利用低秩近似和解耦动量缓冲区，避免分布式训练同步完整梯度，在集中式和分布式场景都有高效表现，性能超Muon。
ICML 2025 | 无需训练，即时对齐大模型偏好
上海人工智能实验室提出TPO方案，可让大模型在推理时快速对齐人类偏好，无需更新模型权重。TPO类似文本形式的梯度下降，在多个基准数据集评测中表现出色，还提供“宽深结合”推理拓展策略。
AI能否独立开展科研？ASI-Bench为科学自主性建立评测标尺
ASI-Bench是衡量AI系统科学自主性的基准测试，由多机构联合开发。它能测试AI通用智能、创新性和执行力，通过信息梯度设计，让模型在不同指导量下完成科研任务，结果显示当前AI离自主科研有明显距离。
腾讯LLM团队：对下一个 Token 预测的深入剖析，多样性 or 精准度？
最新研究证实RL能增强LLM推理，但成效受限预训练token分布。腾讯LLM部把交叉熵重写成单步策略梯度，用超参压熵，为RL打造‘低熵高信号’起点，经实验验证低熵模型优势明显。
无损减少80%激活值内存，提升5倍训练序列长度，仅需两行代码
港中文（深圳）和上海交通大学团队提出 StreamBP 算法，通过线性分解和分步计算，将大语言模型训练激活值内存降至梯度检查点的 20%，在相同内存下最大序列长度为其 2.8 - 5.5 倍，代码已开源。
机械手真正「活」了，银河通用&清华推出DexNDM，用神经动力学重塑灵巧操作
银河通用与清华推出DexNDM，旨在解决灵巧操作技能sim - to - real难题。它能让灵巧手掌握多种转轴、多样手腕朝向下旋转物体的技能，构建的半自主遥操系统可完成复杂工具操作和长程装配任务，在sim - to - real方法上有创新。