「预训练数据」共找到 3960 篇相关文章
英伟达早不靠GPU躺赢！黄仁勋终极预判：10亿程序员时代将至，AI智能彻底廉价
2026 年 GTC 大会后黄仁勋接受深度访谈，他指出 AI 核心竞争转向“AI 工厂”，扩展定律沿四条路径推进，未来大量数据是合成数据。他还预测程序员将达十亿级，强调人人学 AI，认为智能会商品化，人性高于技术。
卡帕西8000行代码手搓ChatGPT，成本仅100美元，训练12小时CORE表现超越GPT-2，手把手教程来了
AI大神Andrej Karpathy新作nanochat，用8000行代码、100美元成本纯手搓克隆ChatGPT。它是极简全栈训练/推理pipeline，训练12小时，CORE表现超GPT - 2，还给出快速上手详细指南。
搜索智能体RAG落地不佳？UIUC开源s3，仅需2.4k样本，训练快效果好
当前 Agentic RAG 落地有挑战，UIUC 和 Amazon 提出 s3 训练范式。它仅需 2.4k 样本，训练快且效果好，解决了优化目标偏离、检索与生成耦合等问题，在通用和医学 QA 任务中表现出色。
银河通用LDA定义全域数据利用范式，跨本体世界动作大模型开启具身GPT-2时刻
当下具身智能赛道两大流派各有短板，银河通用推出跨本体「隐式世界 - 动作基础模型」LDA - 1B，走自研WAM路线，成果已开源。它打破数据割裂难题，解锁具身智能「GPT - 2时刻」，在多方面展现优势。
机器学习先驱Daphne Koller警告：AI制药不是魔法棒，下一代药物发现还缺1000倍数据
知名学者 Daphne Koller 在 a16z News 发文指出，AI 制药当前最受关注的进展多在分子设计，但新药研发难题在上游，疾病机制的靶点选择错误导致大量临床试验失败，且当前数据距构建完整生物学因果模型差约 1000 倍。
Qwen3 变身扩散语言模型？不从零训练也能跑，30B参数创纪录
扩散语言模型（DLM）潜力大但训练难，Radical Numerics团队改造Qwen3-30BA3B，推出30B参数的开源扩散语言模型RND1-Base。该研究系统性研究A2D转换关键因素，成果超现有部分模型，还提出简单方法及训练策略。
刚刚，Andrej Karpathy放出大招：开源nanochat项目，仅8000行代码100美元就能训练出一个ChatGPT
Andrej Karpathy发布nanochat项目，用8000行代码实现ChatGPT完整训练流程。在8xH100节点跑4小时、花100美元，就能有对话、写故事、答题的AI助手。项目覆盖广，含多训练步骤及评估体系。
混元3D开源端到端全景深度估计器，代码+精选全景数据已上线，在线可玩
全景深度估计在3D视觉领域日益受关注，但因全景数据稀缺、球面畸变问题，以往方法零样本泛化和效率不佳。腾讯混元3D团队提出DA²，通过数据扩充引擎和SphereViT架构，提升性能，展现SOTA表现。
破解「长程智能体」RL训练难题，腾讯提出RLVMR框架，让7B模型「思考」比肩GPT-4o
腾讯混元AI数字人团队提出RLVMR框架，将‘元认知’理论引入RL，通过奖励‘好的思考过程’解决长程任务中智能体的低效探索与泛化难题，经其训练的7B模型表现出色。
o3 Gemini 都翻车？首个可验证长链 GUI 数据集 VeriGUI 重磅开源，探索通用 Agent 能力边界
GUI 智能体发展遇瓶颈，现有数据集难评估其长时程规划能力。2077AI 开源基金会牵头构建的 VeriGUI 应运而生，有长链复杂性与子任务级可验证性特征，论文登 Hugging Face 月榜第三，还证明现有模型瓶颈。