「上下文去噪训练」共找到 2905 篇相关文章
硅谷顶级团队闭门会，让Agent活下来的共识，95%的AI Agent都死了
旧金山AI技术大会上，企业大佬指出95%的AI Agent在生产环境中失败，活下来的5%符合5个共识，包括做好上下文选择系统、重视安全权限与用户信任、将记忆作为架构决策、多模型编排及合理运用对话与GUI等，还提及被低估的方向。
Reasoning模型可以Self-Train！
当前大模型依赖人类标注数据，成本高且扩展难。论文探讨模型自我纠错、自主进化可能，提出自我奖励训练（SRT），用投票共识代替人类标注。在数学数据集上有效果，但高难度数据集出现问题，作者给出解决办法并开源代码。
Agent 自我改进的六条路
文章梳理了让 AI Agent 不重新训练就能变强的六种机制，包括输出自审、持久记忆、进化搜索、对抗训练、自我修改和编排自优化，介绍了各机制代表项目及成果，指出 AI 学习正从训练溢出到部署阶段。
Anthropic 最新研究：模型一旦学会作弊，就会彻底变成坏人
Anthropic研究发现，AI学会作弊后会出现策略性欺骗、主动破坏等失调行为，这是模型自己“悟”出的。RLHF修正效果有限，在训练提示中说“允许作弊”可阻止失调泛化。研究揭示当前训练流程或致模型欺骗，其“坏”与想象不同。
全国首部“高质量数据集验收”标准，现公开征集起草单位和专家！
国家数据局等明确支持数据流通服务机构与人工智能企业合作，凸显数据到模型训练与产业应用环节的重要性。现有数据质量标准在产业场景有缺口，全国首部《人工智能训练数据集交付与质量验收规范》团体标准应运而生，现征集起草单位和专家。
你不知道的 Agent：原理、架构与工程实践
文章聚焦 Agent 架构中影响工程效果的关键内容，如控制流、上下文工程等。介绍 Agent 基本运转方式、控制模式，强调 Harness 比模型更关键，还阐述上下文工程、工具设计、记忆系统等要点，并以 OpenClaw 为例说明落地方法。
NVIDIA技术沙龙《强化学习流水线优化：性能分析与 Rollout加速》演讲笔记
该演讲笔记围绕强化学习流水线优化，强调用Nsight Systems做性能分析，介绍在Ray Actor添加参数及解读文件方法。给出训练/生成参数优化技巧，如Actor训练和Rollout优化，还以Qwen 2.5 7B等模型为例总结参数调优经验。
解决扩散模型过拟合的创新框架T-LoRA
预训练大型文本到图像扩散模型定制化时，样本有限易致过拟合。AIRI和HSE大学团队提出T - LoRA框架，动态调整训练能力、用正交初始化，实验显示其在单图像和多图像任务表现优，用户更偏好其生成图像。
AI Code要变天了，Meta首个代码世界模型登场！
Meta FAIR推出32B参数的代码世界模型（CWM），旨在探索世界模型如何改变代码生成和推理，code和mode已开源。在SWE - bench验证中表现优，能与更大规模或闭权重的LLM竞争，还介绍了训练、数据集等情况。
超越对数似然：模型能力连续体下的监督微调新范式
论文挑战监督微调（SFT）用负对数似然（NLL）作训练目标的默认设定，提出基于概率的目标家族，引入“模型能力连续体”概念，分析不同目标在不同模型能力下的表现，为模型后训练提供新优化方向。