「预训练数据精炼」共找到 3915 篇相关文章
被 AI 大厂逼至绝望，这帮欧洲人发起了一场“科学复兴运动”
AI前沿成果被科技巨头锁在“黑箱”，欧洲科学家、工程师等发起“科学复兴运动”成立LAION。他们构建开放数据集，训练出表现优异的模型，还进行“爱丽丝梦游仙境”研究测试大模型，探讨推理模型发展方向。
人大-清华-腾讯发布：音频 - 视觉多模态任务统一框架
人大、清华和腾讯合作发布Crab论文，目标是实现多模态场景理解任务的高效一统。它针对音频 - 视觉理解模型难点提出解决方案，构建数据集、设计LoRA结构、统一架构，训练分预训练和指令调整两阶段。
Anthropic逃过一劫：成功和解万亿美元版权诉讼，避免破产
Anthropic与作者达成和解，避开12月审判和可能高达万亿的赔偿。此前法官裁定其用盗版内容训练模型属盗版行为。和解为行业划红线，数据需明确来源授权，Anthropic仍面临其他版权挑战。
当200位具身从业者被拉进同一个屋子
量子位等联合发起沙龙，近200位具身从业者探讨具身智能从实验室走进物理世界的问题。乐聚工程师指出具身数据瓶颈，蚂蚁灵波郑可成介绍模型，上海交大李永露分享评测基准，圆桌对话探讨数据挑战与破局路径。
马斯克曝光Grok 5！1.5万亿参数，偷师Cursor狂练编程
5月25日凌晨马斯克官宣，1.5万亿参数Grok V9-Medium训练完成，2 - 3周后发布。训练灌入大量Cursor编程数据，编程能力将大幅提升。此前v8 - small年底前开源，马斯克编程赛道布局全面摊牌。
“AI大神”李沐终于开源新模型，爆肝6个月，上线迅速斩获3.6k stars！
7月23日，“AI大神”李沐开源音频基础模型Higgs Audio v2，构建于Llama - 3.2 - 3B之上，预训练数据丰富。该模型在多个测评中成绩领先，有多种能力，李沐介绍其技术及训练方法。
CMU&NYU最新工作解释：存储在权重里的“智能”是从哪来的？
论文《From Entropy to Epiplexity》指出经典信息论在AI面前有三大悖论，提出用Epiplexity度量信息。它将数据信息拆为Time - bounded Entropy和Epiplexity，通过神经网络训练近似计算，实验验证其有效性，并给出启示。
蚂蚁具身智能明牌了：做大脑，和宇树们错位竞争
蚂蚁灵波开源具身智能基座模型LingBot-VLA，用20000小时真实世界数据训练，解锁最大规模开源真机数据之一。它性能超国际顶尖模型，还指明通用具身智能发展路径，为行业提供全栈解决方案。
从多模态大模型中「拆」出音频向量模型
Google 发布原生多模态向量模型 Gemini Embedding 2，推动 Omni Embedding 发展。Jina AI 团队分享从多模态大模型中「拆」出音频向量模型的经验，介绍架构、训练数据，对比四种做法，还提及评测、应用场景及结论。
重磅！翁荔最新Scaling Law深度洞察来了
北大毕业的前OpenAI高管翁荔（Lilian Weng）的《Scaling Laws, Carefully》值得一读。Scaling law是预训练预算表，能帮少烧错钱。文章探讨大模型训练预算分配，分析Kaplan和Chinchilla结论差异及数据稀缺问题。