「预训练数据」共找到 3960 篇相关文章
传统训练效率很低？我们靠 “给模型降噪” 重新审视长上下文建模难题
文章指出长上下文模型处理长文本时易受噪声干扰，提出新评估指标IG分数和“上下文去噪训练（CDT）”方法。实验表明CDT优于现有策略，经其训练的开源模型在长上下文任务中性能媲美GPT - 4o。
最强开源机器人大脑！蚂蚁两万小时真机数据开启物理AI缩放定律
蚂蚁集团开源具身智能基座模型LingBot-VLA，用两万小时真机数据证明机器人学习有缩放定律且未达瓶颈。该模型优势显著，在多平台表现出色，团队还从数据、架构、工程等方面进行优化，并开源代码等加速行业探索。
微软发布GUI Agent新范式！告别传统方式，小参数少数据，7B吊打72B模型
微软发布GUI Agent新范式GUI - Actor，告别传统Agent定位死板、缺乏空间感和兼容性差等问题。它用无坐标交互技术，在测试中表现优异，省数据算力，未来在多领域有应用潜力。
「上下文学习」之后，腾讯混元第二篇公开研究：精准定位RLVR训练崩溃的“罪魁祸首”Token
腾讯混元团队新研究提出异常梯度定位器 GradLoc，可将全局梯度突刺定位到具体异常 token，降低 RLVR 训练观测与分析门槛，助力解决训练不稳定问题，让模型调优更科学。
打通AI4S数据入口：MinerU.Chem让化学文献中的“图片”，从“人类可读”走向“AI可用”
上海人工智能实验室 OpenDataLab 团队发布 MinerU.Chem 技术报告及成果，升级化学文献智能解析能力。它能将化学文献图片转化为 AI 可用数据，解决化学知识机器难用问题，在评测中领先，还将助力 AI4S 发展。
靠AI破解癌症，初创公司融下3000万刀！新目标：建10亿单细胞数据集
福布斯介绍，初创公司Tahoe Therapeutics融资3000万美元构建活细胞AI模型，估值达1.2亿美元。该公司已研发出针对一种主要癌症亚型的候选药物，还开源数据集，与其他公司合作开发AI agent。
训练成本暴降99%，35秒出1分钟高清视频！英伟达MIT等引爆视频AI革命
英伟达联合MIT、港大团队提出SANA - Video架构，其核心是创新的全局线性注意力Diffusion Transformer训练框架和全局显存恒定的KV缓存机制。它训练成本低、速度快、可部署，重新定义AI视频生成效率极限。
中山大学&华为联合提出 Issue Resolution 数据集构建神器SWE-Factory：每条只要$0.024
中山大学和华为联合提出低成本开源方案 SWE-Factory，可自动收集代码打造高质量代码评估数据集。它能解决传统构建流程繁琐、依赖人工的问题，实现全流程自动化，还构建了 SweSetupBench 数据集，表现出色。
告别海量标注！浙大团队提出GUI-RCPO，让GUI定位在无标签数据上自我进化
浙大等机构研究人员提出GUI - RCPO，这是自我监督强化学习方法，能让模型在无标注数据上提升GUI grounding能力。其通过迁移思想，利用区域一致性自我提升，实验表明该方法有效且有泛化能力。
10人团队千万融资，这个原生AI产品要做“人人可用的数据Agent”丨对话ChatExcel
ChatExcel是国内首款原生AI DataAgent，专注自然语言对话处理分析数据。其不到10人团队获近千万融资，定位平民化数据产品，核心是多模型结合，已近百万用户，正拓展海外市场。