「上下文去噪训练」共找到 2905 篇相关文章
Karpathy 教它的 nanochat 数单词里有几个“r”
Andrej Karpathy 教超小型语言模型 nanochat d32 数单词里字母 r 的数量，创建 SpellingBee 合成任务微调模型，虽像填鸭式教学但有效，不过小模型上下文处理能力有限。
ACL'25首届博士论文奖 | 重新思考 LLM 中的数据使用
近日，第一届 ACL 计算语言学博士论文奖获得者是 Sewon Min，其论文《重新思考大型语言模型中的数据使用》围绕大型语言模型如何使用训练所用的庞大文本语料库展开研究。
SRO架构赋予Qwen-2.5-VL推理能力，性能飙升16.8%
文本领域推理模型成就大，但扩展到多模态大语言模型遇阻力，如冷启动初始化不足等。为此提出 SRO 三阶段训练框架，经测试，ReVisual - R1 平均性能提升 16.8 个百分点。
一个只有70行的文件，凭什么拿下GitHub 10万星？
GitHub上‘andrej - karpathy - skills’项目爆火，核心是不到70行的CLAUDE.md文件，给出AI编程助手行为准则。其火的原因有解决痛点、名人背书等，价值在于证明‘上下文工程’重要。
Anthropic 发文称自家 Claude 已经开智，网友：为了上市，不择手段？
Anthropic发布Claude内部机制新研究，介绍J-space和J-lens，称可读取模型未输出的内部概念。此研究在训练、评测和部署有潜在价值，但叙事引发争议，网友质疑是否过度包装。
中科院甩出多模态“核弹”！类GPT-4o多模态模型开源！支持语言-视觉-语音任意组合交互！
中国科学院计算技术研究所（ICTNLP）开源类GPT - 4o多模态模型Stream - Omni，支持文本、视觉和语音任意组合交互，核心是高效模态对齐技术，少量多模态数据即可训练，有多种使用场景。
GPT-5.4发布，拥有原生计算机操作能力，像是给OpenClaw量身打造的模型。
OpenAI凌晨发布GPT-5.4，或是4o模型后提升最大的一次。它价格较合理，有原生计算机操作能力，支持100万token上下文，还有工具搜索功能可降47% token损耗，与OpenClaw适配性佳。
Codex现在随时能截屏你的桌面！OpenAI建议：开会前记得关
OpenAI为Codex新增Chronicle功能，可后台抓屏截图，生成记忆用于增强上下文。虽让工作流更丝滑，但有消耗配额、注入风险、存储未加密等问题，OpenAI建议开会前暂停。
奥特曼怕了！GPT-5.5「大蒜」决战谷歌，红色警报紧急拉响
三年前ChatGPT让谷歌恐惧，如今OpenAI被谷歌逼得拉响‘红色警报’。OpenAI计划发布新推理模型，‘Garlic’预训练有突破，还启动下一代模型。OpenAI调整策略，聚焦提升ChatGPT体验。
上交博士最新思考：仅用两个问题讲清强化学习
上交博士 Kun Lei 博客提出用两个问题理解强化学习：数据从哪来、策略更新多频繁。借此梳理算法逻辑，还延伸到机器人基础模型，指出训练节奏与其实践契合。