「权重收敛」共找到 229 篇相关文章
谢赛宁REPA得到大幅改进，只需不到4行代码
Adobe Research等团队对REPA展开研究，发现驱动目标表征生成性能的是空间结构而非全局性能。基于此构建iREPA，代码不到4行，能提升REPA收敛速度，在多方面表现出色。
Thinking Machines再发文：模块化流形让训练更稳定
Mira Murati团队分享神经网络训练推理新研究，提出“模块化流形”让训练更稳定。将权重约束在Stiefel流形，设计Manifold Muon优化器，实验显示效果好，但计算开销和理论问题待解决，代码已开源。
刚刚国产双响炮炸场！智谱「牛来模型」和阿里Qwen3.8-Flash双双亮相屠榜
智谱发布GLM - 5.3 - Flash（牛来模型），原生多模态，支持1M token上下文，运行在国产芯片，价格实惠。阿里开源Qwen3.8 - Flash - Next权重，成本低性能优，在四大维度重构架构。
从文心开源谈起，论大模型发展新生态
6月30日百度宣布开源ERNIE 4.5即文心4.5系列模型，实现预训练权重+推理代码完全开源。文心团队提出创新架构，增强多模态理解能力。今晚7:30，CSDN邀专家深度解读文心开源及行业趋势。
摩尔线程天使投资人：对近期AI的四十个观察
摩尔线程天使投资人王捷整理关于AI经济四十个问题，涵盖模型发展、经济影响、就业冲击等方面，如Scaling Law收敛、AI扩散时间、数字层机制等，为探讨AI经济提供观察视角与分析框架。
一夜颠覆Sora神话，H200单卡5秒出片！全华人团队开源AI引爆视频圈
UCSD等机构发布FastWan系模型，用「稀疏蒸馏」训练方案，让视频去噪速度飙升70倍。FastWan在单张H200上5秒生成480p视频，模型权重等全开源，改写AI视频生成格局。
强化学习没作用？人大DelTA精准识别关键token，推理正确率大幅上升
人大高瓴研究团队提出DelTA算法，不依赖经验为强化学习目标中每个token算最优权重。实验显示它适配主流强化框架，在多任务上提升base模型效果，还能让训练更稳定。
马斯克惊叹！DeepSeek和Kimi先后出手，捅破了Transformer的「潜规则」！
文章介绍了DeepSeek和Kimi在残差连接上的突破。DeepSeek让连接权重可学习，用数学约束保证稳定性；Kimi将注意力机制用于层间连接，解决了更根本的问题，性能提升显著。
Sam Altman：美国严重低估中国AI实力，OpenAI开源因为DeepSeek
OpenAI联合创始人Sam Altman警告美国可能低估中国AI进展，出口管制难限中国发展。他称中国在多层面有进展，美国政策难跟上技术现实。此外，中国开源模型如DeepSeek促使OpenAI发布开放权重模型。
谢赛宁新作：VAE退役，RAE当立
谢赛宁团队研究表明VAE时代结束，RAE将接力。RAE是用于扩散Transformer训练的新型自动编码器，能提供高质量重建结果，有语义丰富潜空间，支持可扩展架构，收敛快，在ImageNet图像生成效果强劲。