「校准误差」共找到 82 篇相关文章
为什么BF16的FlashAttention会把训练「炸掉」？清华首次给出机制解释，用极简改动稳住训练
社区里长期存在的FlashAttention+BF16训练GPT - 2时loss突然爆炸的问题，清华团队论文给出机制解释。指出是特定条件下数值偏置被放大所致，还给出极小修改稳定训练，且在多模型和硬件上验证有效。
微软：DeepSeek-R1等推理模型循环的原因找到了
前几天，DeepSeek - R1论文更新，披露诸多细节。重点是推理模型在低温/贪心解码下易循环，根源是学得不对，如风险规避式复读、时序相关错误复读，还给出解决方案。
PRSA 2025 | RPI Nithin Somasekharan、Shaowu Pan（潘韶武）：突破柯尔莫哥洛夫屏障——面向模型降阶的可学习加权混合自编码器
本文将线性POD与非线性Autoencoder通过可学习参数融合，提出可学习加权混合自编码器架构。在多数据集验证中，该方法克服了POD和纯AE的局限，在复杂PDE系统预测中表现出色，或可降低大规模计算成本。
马斯克AI女友直播「一秒变身」，Karpathy看完立刻投钱
世界首个支持直播推流的「实时」扩散AI视频模型MirageLSD诞生，大神Karpathy亲自站台。它能理解真实视频后同步生成AI视频，实现零延迟、无限时长、每秒24帧不卡顿，给视频娱乐和直播互动带来丰富想象。
Jev 是个什么模型？它一个字都不生成，为什么还这么火？
本文深度解析TypeSafe AI新发布的Jev模型，该模型不生成文本，专注提供高速结构化概率判断，分析了其架构、训练、适用场景，探讨了对AI行业格局的影响，给出开发者实用判断标准。
规模化人工判断：Dropbox 如何借助大语言模型优化 RAG 系统标注
为提升 Dropbox Dash 生成回复的相关性，工程师采用大语言模型辅助人工标注。该方案解决了纯人工标注的局限，通过人工校准大语言模型标注的方法，为 RAG 系统提供了有价值参考。
让AI生成视频「又长又快」：Rolling Forcing实现分钟级实时生成
南洋理工大学与腾讯ARC实验室联合研究，由博士生刘坤昊等完成，提出Rolling Forcing方法，通过滚动窗口联合降噪等创新设计，突破实时长视频生成瓶颈，实现分钟级实时生成，还支持交互控制，但仍有优化方向。
重塑注意力机制：GTA登场，KV缓存缩减70%、计算量削减62.5%
GTA由多所高校联合研发，提出大模型框架，解决传统多头注意力机制弊端。通过分组共享注意力矩阵和压缩潜在值表示，削减计算量、缩减KV缓存，实验验证其性能优、效率高，虽有局限但前景好。
AAAI2025、POF | 西湖大学冯浩东、范迪夏等：如何在不准确物理信息和部分观测下利用物理信息建模流体力学系统
此文章聚焦在不准确物理信息和部分观测下利用物理信息建模流体力学系统问题。提出RPLPO与PIPO算法，前者解决部分观测模型泛化性，后者解决不准确物理信息在部分观测中的应用，实验验证了算法有效性。
10个小模型并联跑赢GPT-4.1！无额外训练，方法仅4步
上海人工智能实验室等机构提出Avengers框架，无需额外训练，通过四步集结小模型优势。实验表明，其在15个数据集上平均得分超GPT - 4.1，还探究了框架有效的要素，对AI研究和开源社区意义重大。