算法论文8
汤泽成团队:CDT提升长上下文模型性能
深度学习自然语言处理
AI 摘要
汤泽成团队针对长上下文模型受噪声干扰问题,提出IG分数和CDT方法。通过实验验证,CDT能精准识别关键token、抑制噪声,在多项任务中提升模型表现,训练效率更高。
阅读原文 · 深度学习自然语言处理
传统训练效率很低?我们靠 “给模型降噪” 重新审视长上下文建模难题
文章指出长上下文模型处理长文本时易受噪声干扰,提出新评估指标IG分数和“上下文去噪训练(CDT)”方法。实验表明CDT优于现有策略,经其训练的开源模型在长上下文任务中性能媲美GPT - 4o。

关注公众号
扫码关注
第一时间收到每日精选
相关文章
新闻资讯8
DeepSeek论文获奖,V4或借成果起飞
ACL公布2025年获奖论文,中国作者比例超51%。DeepSeek梁文锋通讯、实习生袁境阳一作的论文获Best Paper奖。其提出NSA机制,实验显示性能优、准确率高、速度提升显著,成果或用于DeepSeek V4。
InfoQ
算法论文8
人脑信号可引导大语言模型鲁棒推理
本文介绍发表于Nature Machine Intelligence的最新研究,系统探究语言模型与人脑推理表征的对应关系,验证人脑信号可引导提升语言模型推理鲁棒性,为脑启发AI提供了新研究路径。
机器之心
算法论文9
扩散新范式Hi-DiT终结路线之争
中科大与智象HiDream.ai团队提出混合潜空间-像素空间扩散新模型Hi-DiT,解决了两类传统扩散路线各自的瓶颈,论文被ECCV 2026接收,在多个主流图像生成任务上取得优异性能,仅小幅增加计算开销。
量子位
算法论文8
V-Rubrics细化多模态强化学习奖励
本文介绍南洋理工大学等机构研究团队提出的V-Rubrics方法,解决多模态推理中结果正确但推理错误的奖励分配误区,通过35万条细粒度准则拆分奖励计算,有效提升模型性能,论文已被EMNLP 2026主会接收,代码与数据已开源。
机器之心