搜索：上下文去噪训练

「上下文去噪训练」共找到 2904 篇相关文章

OpenAI分享了一份上下文工程实用指南。

OpenAI产品负责人Miquel联合Piotr发布Context Engineering深度指南。介绍了Context Engineering概念、6种核心上下文，指出RAG只是其中一环，还讲述信息检索的多种范式及上下文组装方法。

上交大刘鹏飞团队提出人工智能本质是“上下文革命”，在论文中把“上下文”提升为智能系统核心结构，提出“上下文工程”学科框架，通过实验揭示智能发展规律，为AI发展指明新方向。

华为盘古团队发布Pangu Ultra MoE模型架构与训练方法的中文技术报告。该模型全流程在昇腾NPU上训练，团队在架构和训练方法创新，实现准万亿MoE模型训练，还在多方面优化提升性能。

微软亚洲研究院联合清北提出全新预训练范式RPT，将强化学习融入预训练，把预训练语料库重构为推理问题集。实验显示RPT-14B表现出色，在多方面媲美甚至超越32B模型，未来RL或在LLM预训练掀起风暴。

文章解读了欲取代Transformer的SSA（次平方稀疏注意力）算法。它支持12M tokens上下文，比fastAttention快52倍，训练和推理更快。SSA改变了注意力扩展特性，有计算和内存线性扩展等特性，经三阶段训练可可靠利用长上下文。

OpenAI发文称暂停最新模型强化学习训练两周，加固研究环境、进行红队测试等。部分低风险训练已恢复，最大规模前沿模型训练仍暂停。此举源于Hugging Face安全事故及Astra模型潜在风险。

Cursor的agent为所有模型使用动态上下文，在保持质量时更智能填充上下文。代码Agent改变软件开发方式，Cursor提出动态上下文发现模式，介绍了在其中使用该模式的做法及优势。

大模型应用从简单问答转向复杂智能体系统，技术焦点正从提示工程转向上下文工程。上下文工程核心是为大模型提供恰当信息与工具，其重要性日益凸显，且与提示词工程有明显区别。

Anthropic最新研究提出中训练（MSM），在预训练后、后训练前给AI立规矩。实验显示，新增MSM能让通义千问两款32B大模型失准率大幅下降，还能精简微调数据。MSM与对齐微调结合，可提升模型泛化能力。

继提示工程后，「上下文工程」在硅谷爆火，获Karpathy等大佬青睐。它是「全新的氛围编程」，是智能体成败关键。其范畴广，是科学也是艺术，为LLM构建上下文能解决定制任务。