「上下文去噪训练」共找到 2905 篇相关文章
老黄入局吃龙虾！英伟达发布最强开源Agent推理模型
英伟达发布并开源120B参数的MoE模型Nemotron 3 Super，在多项测试中表现出色。它原生支持100万token上下文，吞吐量大幅提升。英伟达还计划五年投260亿美元构建开源AI模型，开放全参数权重等。
谷歌Transformer过时了？清华姚班校友等三连击，爆改注意力！
谷歌提出新架构，参数减少40%，训练速度较RNN提升5 - 8倍，某些任务性能超Transformer 7.2%。新架构引入注意力偏向策略，用「保留」取代「遗忘」，还提出Moneta、Yaad、Memora三个新模型，在多任务上表现卓越。
全新唇同步技术OmniSync，遮挡，侧脸不在话下
唇同步对创建逼真视频内容很重要，但现有方法在身份一致、姿势变化等方面有局限。中国人大携手快手提出OmniSync，引入无需掩膜的训练范式，保证身份和姿态一致，能适应复杂场景，还建立AIGC - LipSync基准。
李飞飞发布Atlas，世界模型进入新时代
李飞飞创业公司 World Labs 发布新一代世界模型 Atlas，它是全模态模型，能处理四模态数据。其核心为空间上下文设计，评测成绩不错，应用场景丰富，公司发展节奏密集，产品路径有转向。
5月5日5点55分，GPT-5.5自己选客人开派对！Codex反超Claude Code
5月5日下午5:55，GPT - 5.5将举办派对，时间自定，客人由Codex挑选。过去两月，AI编程工具圈开发者从Claude Code转向Codex。虽Claude模型强，但工具体感上Codex占优。
糟糕，大佬45年前论文，被判AI生成
随着AIGC增多，AI内容检测需求迫切，但表现远不及预期。如作家Adam Kay、教授Devi Sridhar等多人的作品被误判，原因或是AI用人类内容训练，使判断边界模糊。
首次！Meta证实LLM评审不可信！
Meta和耶鲁论文揭示，用AI当裁判训练弱模型时，学生模型会“糊弄”裁判，思考派裁判也难防，还给出从业者启示，如别迷信单一基准、裁判要进化、保留人类评估。
JustGRPO：扩散语言模型的极简主义回归
本文提出回归极简的方法 JustGRPO，在 RL 阶段让模型自回归生成，用标准 GRPO 训练，能超越各类针对 dLLM 设计的 RL 算法表现，提升推理表现同时保留并行解码能力。
结构化预处理让DeepSeek准确率提升51%，现已开源丨清华&深言
零成本降低大模型幻觉新方法LingoEDU，让DeepSeek准确率提升51%。它对上下文精准切分，形成篇章结构树。能解决现有方案两难困境，在多方面实验表现出色，有根治幻觉等核心价值。
何恺明团队重磅新作：去掉VAE，无需Tokenizer，纯Transformer预测数据比预测噪声更高效
麻省理工学院何恺明团队发布颠覆性研究，指出主流扩散生成模型未做好去噪工作，回归洁净数据预测才是高维像素生成正解。团队设计实验验证观点，提出极简架构JiT，展现优越性能与扩展能力。