搜索：上下文去噪训练

「上下文去噪训练」共找到 2905 篇相关文章

Claude写80%代码，Anthropic工程师却越来越孤独

Anthropic工程负责人Fiona Fung带领团队用Claude Code使人均代码量翻8倍，但工程师交流减少，孤独感渐生。此外，还存在上下文切换、心流体验变淡、工作意义减弱等问题，工程师职业边界也在变模糊。

何恺明团队提出ELF模型，将扩散过程置于连续向量空间，只在最后翻译成词。它用一个网络实现去噪和解码，引入自条件机制。实验显示，ELF用不到其他方法十分之一数据，生成质量全面领先。

DeepSeek上线多模态并开源新范式技术。该研究让AI用视觉原语思考，弥合语言与视觉指代鸿沟。它构建紧凑模型架构，信息压缩率达7056倍，训练分三阶段，测试中表现出色，也存在局限。

GitHub第1299号用户、Vagrant之父Mitchell Hashimoto，因GitHub连续宕机和AI转型，带着5万星项目Ghostty出逃。AI让GitHub负载剧增，其资源向AI倾斜致基础设施维护变差，“去GitHub化”声音渐大。

美团龙猫LongCat系列发布全新稀疏注意力机制LoZA，重点解决长文本任务难题。它在MLA机制基础改造，计算复杂度降至线性，处理128K上下文解码快10倍，性能不缩水，后续还计划支持动态稀疏比例。

卫星星座成数字经济时代基础设施，但运行背后规划难题待解。北航刘偲教授团队提出首个大规模真实星座调度基准AEOS - Bench，训练内嵌时间约束的调度模型AEOS - Former，为‘AI星座规划’奠定新技术基准。

昨天，DeepSeek 在 GitHub 上线新代码库 LPLB 解决 MoE 负载不均。它利用线性规划算法优化专家并行工作负载分配，能处理动态波动，但也存在忽略非线性成本等局限，对 MoE 架构训练加速有参考价值。

谷歌为 Android Studio 推出集成 Gemini 的 Agent Mode，在最新预览版上线。它以整个项目为上下文，能直接修改项目、执行多步骤任务，可通过 MCP 与外部工具交互，但预览版有不足，谷歌正解决。

高考报志愿难题一直存在，天价咨询服务并非人人能享。夸克推出国内首个高考志愿大模型，免费生成志愿报告。它能理解复杂规则、把握考生需求，经多阶段训练优化，还搭载高考知识库，产品体验简便。

本文围绕如何打造真正有用的AI产品展开，以Granola为例，阐述生成式AI领域创业需新打法，如不浪费时间解决即将消失的问题、利用边际成本创造机会、重视上下文及聚焦特定场景等。