「上下文去噪训练」共找到 2920 篇相关文章
突破单token预测局限！南洋理工首次将多token预测引入微调，编程任务准确率提升11.67%
当前主流大语言模型依赖下一token预测训练，难理解跨多token完整概念。南洋理工大学提出概念感知微调（CAFT）技术，首次将多token预测引入微调，能让模型理解完整概念，多领域实验显示其可显著提升模型性能。
新模型亦是新 Agent，Kimi-Researcher 超大量一手实测！
2025 年被称为“Agent 元年”，月之暗面发布了端到端强化学习训练的新一代 Agent 模型 Kimi - Researcher，其基座是自研新模型。文章对其进行大量实测，与 OpenAI 等对比，并探讨了 Deep Research 的重要性及 Kimi 的不足。
少说‘Wait’，多做题：NoWait重塑大模型推理路径
现代大模型在复杂推理时爱用自我反思词，触发冗余验证循环，拖慢速度、增加算力消耗。NoWait方法零训练成本，通过抓关键词、扩展变体、实时屏蔽，让模型跳过废话，在多任务中表现出色，且颠覆对推理的认知。
微软副总裁X上「开课」，连更关于RL的一切，LLM从业者必读
微软副总裁 Nando de Freitas 在 X 上「开课」，分享人工智能教育帖子，从 LLM 的强化学习讲起。内容涵盖无监督、监督、强化学习定论，分布式强化学习系统构建，RL 用于后训练 LLM 等，还介绍单步强化学习与策略梯度及相关技巧。
DeepSeek Harness背后的“心脏”：Cordis 到底是什么
文章介绍Cordis框架，它原服务第三方QQ机器人，现是DeepSeek Harness心脏。阐述其设计初衷、核心机制，如插件、上下文等概念，还提及在DSH中的应用，展示了插件槽位和生态，最后介绍相关论文和该框架的生态情况。
纯血国产！4B模型越级打怪，杀入万亿赛道
9月1日，Hugging Face上线星火X2.5-4B和1.7B开源端侧模型，在多指标测试中表现优异，实现“越级打怪”。该模型基于全国产算力平台训练，在断网笔记本上实测效果惊艳，使用了两项技术提升能力，适配性强。
曝GPT-5.5用上「全球最快芯片」，Claude慌了！
新智元报道，OpenAI的GPT - 5.3 - Codex - Spark用Cerebras的WSE - 3芯片达2000 token/秒。Cerebras CFO称在跑GPT - 5.4和GPT - 5.5，但SemiAnalysis报告指出其跑大模型有短板，且公开云模型小、上下文短。
名师一定出高徒？清华团队最新揭秘：别再迷信大模型蒸馏的「免费午餐」
当下大模型后训练中，On-Policy Distillation（OPD）成明星技术，业界采用后报告性能提升。但清华团队研究发现，换更强Teacher，Student性能可能无提升甚至倒退。研究揭示蒸馏成败条件，深挖对齐机制，还给出拯救失败蒸馏的方法。
和Anthropic CEO一起发过Nature，他用Claude Code复活三年烂尾代码
华盛顿大学首席开发者Brendan MacLean用Claude Code复活三年烂尾代码。他像带实习生一样带Claude，构建上下文让其理解代码库。同一周OpenAI开源Symphony，实现任务自动派Agent。二者路线不同但目的相同，都在探索让AI融入工程流程。
全网最强万字解读：DeepSeek-V4 掀翻了谁的桌子？ | GAIR live 030
文章深度解读了DeepSeek-V4，从产业、生态和架构维度拆解其效率账本。它成本低，补齐短板适配昇腾芯片，但极致省钱也有代价，如性能衰减、架构复杂等。还探讨了长上下文、MoE与稠密模型路线差异及商业化潜力。