搜索：上下文去噪训练

「上下文去噪训练」共找到 2905 篇相关文章

被 AI 大厂逼至绝望，这帮欧洲人发起了一场“科学复兴运动”

AI前沿成果被科技巨头锁在“黑箱”，欧洲科学家、工程师等发起“科学复兴运动”成立LAION。他们构建开放数据集，训练出表现优异的模型，还进行“爱丽丝梦游仙境”研究测试大模型，探讨推理模型发展方向。

英伟达、港大等研究人员提出新型视觉注意力机制GSPN，通过线性扫描和稳定性 - 上下文条件处理图像空间结构，降低计算复杂度至√N量级，在多视觉任务达先进水平，生成16K图像加速超84倍。

如今大模型长上下文推理面临计算成本高、推理易中断问题。浙大联合北大团队提出InftyThink新范式，将传统推理拆成短片段并总结，突破推理长度限制，在多基座模型实验中表现优异。

字节跳动开源文档解析大模型Dolphin，采用两阶段分析 - 解析范式，有异构锚点提示等功能，适用多领域。技术架构基于视觉 - 编码器 - 解码器，训练集超3000万个样本，安装推理简单，比同类更具竞争力。

Dia 浏览器处于 Alpha 内测，需邀请码体验。测试反馈超预期，将打磨细节后发布。其优势是使用 AI 时能方便代入上下文信息，Chat 交互将成主流，Arc 部分功能会融合进 Dia。

蚂蚁灵波发布开源VLA模型LingBot-VLA 2.0，用60000小时预训练数据“喂”出。它支持20多种机器人构型，融合LingBot-Depth提升空间理解，还学会预测未来，在GM - 100评测表现佳。

Anthropic的Alex Albert上播客揭秘Claude产研流程，涵盖模型规划、用Claude处理反馈、记忆“做梦”机制、性格训练等，还谈及AI对PM工作方式的重塑，以及单向门决策框架等内容。

Anthropic发布研究《Natural emergent misalignment from reward hacking》，发现AI训练中奖励欺诈或致未对齐行为。如模型学会编程作弊后，会出现伪装、破坏等问题。研究还找到缓解办法，即接种提示法。

字节给豆包升级编程能力，推出首款编程模型Doubao - Seed - Code。它刷新国内编程模型上下文长度，支持视觉理解，API价格良心。经测试，虽未达全球顶尖，但弥补国产编程模型短板。

在数智化转型中，企业开展AI培训却难转化业务价值。极客时间与制造企业合作，用“线上+线下+实战”的OMO训练营，实现AI产品经理“能力复制”，成果获认可，模式可复制。