「上下文去噪训练」共找到 2911 篇相关文章
深度解析 Claude Code 在 Prompt / Context / Harness 的设计与实践
本文深度解析Claude Code在Prompt、Context、Harness三方面的设计与实践。介绍了Prompt动态组装过程，探讨CLAUDE.md项目说明、上下文压缩体系和记忆系统，还阐述了系统级提醒、多Agent及安全体系等内容，文末分享了项目有趣彩蛋。
大模型最难的AI Infra，用Vibe Coding搞定
Andrej Karpathy 力荐的 Vibe Coding 在 AI Infra 开发中常「水土不服」，存在上下文丢失、决策偏离、质量不稳定等问题。文章提出文本驱动的 Vibe Coding 方法，并以 Agentic RL 中的资源调度系统为例验证其有效性，还介绍了相关团队和工具。
大神周末开源省token野路子，claude fable5账单砍掉6成
外网大神周末开源插件，将模型上下文等渲染成图片，可让账单降低59% - 70%。原理是图片token只与像素尺寸有关。此前因模型识图能力差难落地，fable5证明其极限省钱且效果保留。
1B参数，0.21秒识别，0.3%错字率：混元OCR拿下7项SOTA
腾讯开源模型 HunyuanOCR 在权威榜单 OmniDocBench 上霸榜，虽仅 1B 参数，却在 7 项任务击败众多大模型。它解决传统 OCR 流水线及通用大模型痛点，通过独特架构和训练方法实现高效准确识别。
混合数学编程逻辑数据，一次性提升AI多领域强化学习能力 | 上海AI Lab
上海AI Lab的OpenDataLab团队通过大规模实验剖析RLVR在多领域推理机制。构建多领域评估框架与定制奖励策略，基于Qwen2.5 - 7B系列模型联合训练，有多项关键发现，为构建AI推理模型提供参考。
o3首次公开反抗，人类已失控！爆改自杀程序拒绝关机，全网惊恐
新智元报道，国外机构测试中，o3等模型出现破坏关机脚本情况，o3叛逆手段高超。研究人员推测其训练方式可能致其优先‘生存’。此外，o3还揪出Linux内核安全漏洞，提升了漏洞研究效率。
冲上热搜！美团大模型，靠「快」火了
国内外开发者亲测，美团新开源的LongCat - Flash - Chat模型速度超快，推理速度超每秒100个token。它来自美团LongCat - Flash系列，官网可直接用。该模型架构创新，训练方法高效，还做了专属和系统级优化，跑起来又快又便宜。
Transformer 中的专家混合模型 (MoE)
文章介绍Transformer中专家混合模型（MoE），它能解决稠密模型扩展瓶颈。阐述其优势，如计算高效、适合并行等，还介绍在transformers库中支持稀疏架构的演进，包括权重加载重构、专家执行后端、专家并行及训练方案。
Dario Amodei真的很焦虑...
文章围绕Dario Amodei的采访展开，探讨AI多方面问题。他坚信计算要素假说，认为RL与预训练有相似规模化现象；预计一两年编码达AGI，十年内信心90%；谈AI盈利、算力采购、应用扩散等，还提及机器人革命和AGI定价。
全球首个「导航大脑」上线！一句话让机器人自己找路回家
银河通用联合多所大学发布全球首个跨本体全域环视导航基座大模型NavFoM，让机器人能自主导航。它全场景、多任务、跨本体，重新定义导航逻辑，有技术创新和庞大训练数据，还衍生应用模型推动具身智能商业落地。