「预训练数据」共找到 3960 篇相关文章
被 AI 大厂逼至绝望，这帮欧洲人发起了一场“科学复兴运动”
AI前沿成果被科技巨头锁在“黑箱”，欧洲科学家、工程师等发起“科学复兴运动”成立LAION。他们构建开放数据集，训练出表现优异的模型，还进行“爱丽丝梦游仙境”研究测试大模型，探讨推理模型发展方向。
Anthropic逃过一劫：成功和解万亿美元版权诉讼，避免破产
Anthropic与作者达成和解，避开12月审判和可能高达万亿的赔偿。此前法官裁定其用盗版内容训练模型属盗版行为。和解为行业划红线，数据需明确来源授权，Anthropic仍面临其他版权挑战。
马斯克曝光Grok 5！1.5万亿参数，偷师Cursor狂练编程
5月25日凌晨马斯克官宣，1.5万亿参数Grok V9-Medium训练完成，2 - 3周后发布。训练灌入大量Cursor编程数据，编程能力将大幅提升。此前v8 - small年底前开源，马斯克编程赛道布局全面摊牌。
CMU&NYU最新工作解释：存储在权重里的“智能”是从哪来的？
论文《From Entropy to Epiplexity》指出经典信息论在AI面前有三大悖论，提出用Epiplexity度量信息。它将数据信息拆为Time - bounded Entropy和Epiplexity，通过神经网络训练近似计算，实验验证其有效性，并给出启示。
The Batch：927｜极速扩散学习
研究表明扩散图像生成器学习重建预训练编码器嵌入可加快训练，Apple团队提出的FAE，通过缩小嵌入再重建解决了因嵌入尺寸大导致的训练受阻问题，性能与先进模型相当且训练更快。
蚂蚁具身智能明牌了：做大脑，和宇树们错位竞争
蚂蚁灵波开源具身智能基座模型LingBot-VLA，用20000小时真实世界数据训练，解锁最大规模开源真机数据之一。它性能超国际顶尖模型，还指明通用具身智能发展路径，为行业提供全栈解决方案。
从多模态大模型中「拆」出音频向量模型
Google 发布原生多模态向量模型 Gemini Embedding 2，推动 Omni Embedding 发展。Jina AI 团队分享从多模态大模型中「拆」出音频向量模型的经验，介绍架构、训练数据，对比四种做法，还提及评测、应用场景及结论。
小目标检测难点分析和解决策略
文章基于24年综述论文，分析小目标检测难点，如特征不足、难区分背景等，还给出主流改进方法，涉及数据增强、特征提取、特征融合、损失函数、训练策略等方面，介绍多种算法及效果。
Kimi K2技术报告正式发布：“保姆级”深度解析，一文读懂万亿参数智能体的所有秘密
Kimi K2技术报告发布，Moonshot团队用万亿+参数稀疏MoE架构等打造接近Claude - Opus的通用大模型。围绕训练稳定性等改进，有预训练、架构设计等多方面创新，为智能体领域提供可行路径。
五倍推理加速，激发自回归潜能，苹果新工作让LLM预测未来
近年来自回归训练方法成语言模型主流范式，但推理阶段计算开销大。苹果研究人员开发框架，让预训练自回归大模型多 token 预测，代码和数学任务推理加速达 5.35 倍，一般任务约 2.5 倍。