「上下文去噪训练」共找到 2905 篇相关文章
RLPT：腾讯混元在预训练数据上实现自主强化学习
腾讯混元团队发布RLPT，是在预训练数据上应用强化学习的方法，可突破大语言模型扩展瓶颈。它能让模型自主学习推理能力，无需人工标注，在Qwen3 - 4B - Base模型实验中性能显著提升。
模型训练篇｜多阶段ToolRL打造更可靠的AI导购助手
当前，AI导购成电商与服务平台新风口，但芝麻租赁场景挑战大，存在需求难匹配等痛点。为此打造AI导购智能体“租赁小不懂”，经架构升级和算法优化，性能提升，还探索了MoE训练和推理优化。
Thinking Machines 发布第二篇博文：用模块化流形让训练更加稳定高效
Thinking Machines实验室发布第二篇Connectionism研究文章，提出模块化流形理论框架，通过在权重矩阵施加流形约束让神经网络训练更稳定高效。文章从几何角度思考优化问题，提出流形Muon优化器，还探讨了模块化流形扩展到大型网络的方法。
奥特曼瘫坐叫停“GPT-6”训练！太强触发最高安全警报
OpenAI因模型或具网络攻击能力及此前入侵事件，全面升级研究环境安全。暂停模型训练，进行工作负载、网络隔离和安全测试，还扩展监控系统。期间推进对齐研究，未来用AI护AI，升级监控。
Headroom：Netflix 工程师开源的上下文压缩工具，省 token 还是烧 token？
Netflix工程师Tejas Chopra开源Headroom，定位为AI Agent的上下文压缩层，压缩工具输出等内容，有可逆压缩等特性。官方数据显示节省token效果好，但微软工程师实测结果中性偏负面。
直播预约 | Transformer 模型能否通过连接训练数据中的离散知识进行推理？
为研究Transformer是否具备组合式推理能力，提出FTCT合成任务。实验发现Few - shot CoT提示可激发推理能力，训练与测试相似度、模型复杂度影响推理能力。还分析了其内在机制，展示其泛化推理潜力。
比Gemini 3记得更多，谷歌新框架将上下文记忆干到了200万！
Google在NeurlPS2025大会推出结合RNN与Transformer的全新架构Titans，能扩展到超200万个token上下文。背后涉及Titans和MIRAS两篇论文，共同推进测试时记忆概念，实验显示新架构性能出色。
Identity-GRPO：阿里开源多人物定制化视频生成的后训练优化算法
阿里团队提出Identity - GRPO算法解决多人物视频生成身份一致性问题。构建约15000个标注样本数据集，基于Qwen2.5VL设计奖励模型，多项策略增强训练稳定性，实验验证性能提升显著。
大象秒变挖掘机！三维变形新突破，无需额外训练 | CVPR'26
南京大学与北京大学提出MorphAny3D，无需额外训练即可让三维生成模型实现跨类别平滑变形。它通过创新注意力机制融合源与目标特征，精准控制结构与时序，效果远超传统方法，代码已开源。
GPT-5.4据传下周上线！200万上下文窗口+持久化状态，告别频繁遗忘
OpenAI工程师在GitHub仓库意外泄露GPT - 5.4，相关信息流传后被撤回。据传下周上线，其有200万Tokens上下文窗口与持久记忆，支持全分辨率视觉直读，将引发硬件内存之战。