「误差累积」共找到 64 篇相关文章
Meta视觉基座DINOv3王者归来：自监督首次全面超越弱监督，商用开源
Meta推出并开源视觉基础模型DINOv3，采用自监督学习，首次全面超越弱监督，可生成高质量高分辨率视觉特征。它在多任务表现出色，参数和数据量提升，还构建模型家族，已在多领域产生实际影响。
为什么BF16的FlashAttention会把训练「炸掉」？清华首次给出机制解释，用极简改动稳住训练
社区里长期存在的FlashAttention+BF16训练GPT - 2时loss突然爆炸的问题，清华团队论文给出机制解释。指出是特定条件下数值偏置被放大所致，还给出极小修改稳定训练，且在多模型和硬件上验证有效。
微软：DeepSeek-R1等推理模型循环的原因找到了
前几天，DeepSeek - R1论文更新，披露诸多细节。重点是推理模型在低温/贪心解码下易循环，根源是学得不对，如风险规避式复读、时序相关错误复读，还给出解决方案。
PRSA 2025 | RPI Nithin Somasekharan、Shaowu Pan（潘韶武）：突破柯尔莫哥洛夫屏障——面向模型降阶的可学习加权混合自编码器
本文将线性POD与非线性Autoencoder通过可学习参数融合，提出可学习加权混合自编码器架构。在多数据集验证中，该方法克服了POD和纯AE的局限，在复杂PDE系统预测中表现出色，或可降低大规模计算成本。
Claude封号潮失控！300 万用户企业一夜断供，无理由、无回应，受害者被迫抱团反抗
Claude 出现封号潮，Belo App CTO 等众多用户被封却无解释，申诉只能填 Google 表单。用户不满累积，上线“Banned by Anthropic”网站呼吁改进封禁与申诉流程，还引发“单一厂商锁定”讨论。
重塑注意力机制：GTA登场，KV缓存缩减70%、计算量削减62.5%
GTA由多所高校联合研发，提出大模型框架，解决传统多头注意力机制弊端。通过分组共享注意力矩阵和压缩潜在值表示，削减计算量、缩减KV缓存，实验验证其性能优、效率高，虽有局限但前景好。
AAAI2025、POF | 西湖大学冯浩东、范迪夏等：如何在不准确物理信息和部分观测下利用物理信息建模流体力学系统
此文章聚焦在不准确物理信息和部分观测下利用物理信息建模流体力学系统问题。提出RPLPO与PIPO算法，前者解决部分观测模型泛化性，后者解决不准确物理信息在部分观测中的应用，实验验证了算法有效性。
Claude封号潮失控！300 万用户企业一夜断供，无理由、无回应，受害者被迫抱团反抗
Claude 出现封号潮，Belo App 等企业和开发者账号被封，无理由无回应，申诉渠道不佳。用户不满累积，“Banned by Anthropic”网站上线，呼吁改进封禁与申诉流程，同时引发对“单一厂商锁定”问题的讨论。
无需准确传感信号！轻松搞定「多段软体机械臂」复杂位姿与形状控制
研究人员提出利用双向循环神经网络（biLSTM）的MSCA规划与控制策略，即便用不准确内部传感信号也能完成任务。实验显示该方法在多任务中表现优异，未来还将做进一步研究。
北大、字节、中科院自动化研究所等提出图像并行生成新范式
北大、字节等团队发现多模态模型先思考后作画会降低图像语义保真度，因自回归架构有误差传播问题。为此提出并行多模态扩散框架MMaDA - Parallel，构建ParaBench基准，多项优化后在测试中击败Bagel。