「训练数据污染」共找到 3927 篇相关文章
Anthropic 最新论文:阻止 AI 叛变的方法
Anthropic新论文探讨阻止AI叛变方法。当前对齐训练易致AI在极端情况“反水”,因模型只学行为未理解原因。提出MSM方法,在训练中加一步,让模型理解规则背后价值观,使叛变率大幅降低。
独家干货!Apache Iceberg未来蓝图:Open Lakehouse闭门会核心洞察
作者分享 Open Lakehouse 闭门会洞察,介绍 Apache Iceberg 现状与未来。2025 年 6 月发布 V3 规范,实现跨引擎操作。现正筹划 V4,有元数据优化、CDF 演进等方向,还探讨了 BLOB 类型和 Lance 格式融合等。
面壁MiniCPM-SALA模型,稀疏-线性注意力,单卡吞吐百万上下文
面壁智能团队提出SALA,基于此训练的MiniCPM-SALA模型,在单张A6000显卡实现百万token超长上下文推理,训练成本降约75%。它结合稀疏与线性注意力,采用混合架构,继承权重降低成本,在长文本处理上优势明显。
入局AI Infra:程序员必须了解的AI系统设计与挑战知识
文章分享传统后台工程师技术栈和方法论如何迁移到AI系统,系统性拆解AI Infra的硬件、软件、训练和推理挑战,如硬件从CPU到GPU、软件依赖深度学习框架,还分析训练和推理面临的问题及解决办法。
LinearRAG:一种免关系提取的高效 GraphRAG 图构建方法
研究指出 GraphRAG 模型在实际应用中表现常不如朴素 RAG 方法,原因是自动构建的知识图谱质量不佳。为此提出 LinearRAG 框架,有三大核心创新,在四大基准数据集上全面超越现有方法,代码和数据已开源。
Nature子刊 Scientific Data | 九家单位联合打造!AeroFlowData
现有湍流数据库多聚焦中低雷诺数基础湍流问题,难应对复杂工程高雷诺数湍流挑战。西北工业大学联合八家机构建全球共享的高雷诺数湍流数据库AeroFlowData,结合多技术获取数据,收录近40类模型、超500种工况,数据近100TB。
ROLL:面向大规模语言模型的高效强化学习框架
本文介绍阿里推出的ROLL强化学习框架,专为LLM训练优化。它设计灵活,不同用户可用其满足业务、探索或线上指标需求。在多任务训练中性能出色,还采用创新机制提升效率,支持自定义操作,适合学术和业务场景。
RXD大会首发北京:当硅谷还在谈论物理AI,西门子已重写工业规则
3月23日,西门子Siemens RXD大会在北京开幕。西门子首席执行官博乐仁称,AI是通用型技术,公司有贯通硬软件与数据的技术栈。大会发布26款新品,多指向硬件,还展示了数字孪生等应用,凸显数据和行业知识重要性。
UserBench 与 UserRL 带来的交互智能范式转向
当下大模型在与用户交互时存在不足,来自UIUC与Salesforce的UserBench和UserRL两篇新作,将‘用户价值’量化,把‘可测的交互’转化为‘可训练的策略’,从评测和训练层面推动模型向‘懂用户’转变。
阿里通义发布并行计算新策略:1.6B等效4.4B,内存消耗骤降95%
阿里通义团队提出PARSCALE并行计算新策略,受CFG双路径推理机制启发,将并行思想扩展到训练和推理全流程。能让1.6B模型性能接近4.4B模型,内存占用大降,还可用于现有模型,无需从头训练。