「上下文去噪训练」共找到 2905 篇相关文章
Thinking Machine新研究刷屏！结合RL+微调优势，小模型训练更具性价比了
Thinking Machine新研究提出On - Policy Distillation方法，结合RL与微调优势。该方法让学生模型每步由教师模型指导，用KL散度评估分歧。实验表明其训练小模型性价比高，还能解决AI“灾难性遗忘”问题。
领先于Transformer！新架构首个1200万上下文模型SubQ，成本仅Opus的5%
Subquadratic公司提出SubQ模型，核心是SSA亚二次稀疏注意力机制。该机制改变注意力计算分配，让模型真正读长文档。SubQ是首个有1200万token上下文窗口的前沿模型，成本低、速度快，有望革新大模型扩展路径。
真·开外挂！MIT新研究：架构0改动，让大模型解锁千万级上下文
MIT CSAIL团队提出递归语言模型RLM，不改动模型架构，让GPT - 5、Qwen - 3等模型具备千万级token超长文本处理能力。它将上下文处理“外包”，实验显示其处理规模超前沿模型，复杂任务优势显著，多数场景性价比高。
北大彭一杰教授课题组提出RiskPO，用风险度量优化重塑大模型后训练
北大彭一杰教授课题组提出 RiskPO，解决大模型后训练陷入「均值陷阱」问题。它将风险规避理念融入优化目标，用「关注奖励分布左尾」替代「追求整体均值」，在多领域数据集上表现超越 GRPO 等。
刚刚，OpenAI找到控制AI善恶的开关：ChatGPT坏人格在预训练阶段已成型
OpenAI最新论文揭示控制AI“善恶”开关。研究发现训练模型在某领域答错题，会致其在其他领域“学坏”，还找到“毒性人格特征”。同时给出解决办法，能让模型恢复正常。
超越DeepSeek-R1，英伟达开源新王登顶！14万H100小时训练细节全曝光
英伟达Llama - Nemotron系列模型超越DeepSeek - R1且全部开源。论文揭秘其训练关键，如用合成数据监督微调与强化学习等。还介绍构建阶段、架构设计等，评估显示该系列模型在多任务表现出色。
Python新版本去GIL刷屏，Karpathy 点赞敢死队，Python 之父：冷静，别神话并发
Python 3.14 正式发布，将“去 GIL”写进官方发行版，一整套能力同步上线，官方预估可带来约 3% - 5% 的性能提升。开发人员反馈速度明显提高，但 Python 之父认为去除 GIL 的重要性被高估。
EasyCache：无需训练的视频扩散模型推理加速——极简高效的视频生成提速方案
近年来，扩散模型在视频生成领域广泛应用，但推理慢、算力消耗高问题突出。EasyCache是无需训练的视频扩散模型推理加速方案，在多模型实验中实现大幅提速且视频质量几乎无损，为技术落地提供基础。
ICCV 2025｜降低扩散模型中的时空冗余，上交大EEdit实现免训练图像编辑加速
上海交通大学EPIC Lab团队提出EEdit框架，入选ICCV 2025。它是首个加速匹配流模型图像编辑框架，能兼容多种引导方案，免训练，速度较原始工作流快2.4倍，支持多类型编辑任务。
无需再训练即可增强性能！港大团队提出GPC框架，实现机器人「策略组合」
在机器人学习领域，提升策略性能常需巨额成本。香港大学团队提出GPC框架，通过“策略组合”创造超越单一父策略的“组合策略”，免训练且跨架构、模态融合，经仿真和真机实验验证性能提升。