「持续预训练」共找到 2559 篇相关文章
小红书hi lab首次开源文本大模型，训练资源不到Qwen2.5 72B 的四分之一
6月6日，小红书hi lab团队首次开源文本大模型dots.llm1，采用MIT许可证。该模型激活参数量140亿，总参数量1420亿，上下文长度32K。训练资源不到Qwen2.5 72B的四分之一，在多个测评中表现出色。
仅看视频就能copy人类动作，宇树G1分分钟掌握100+，UC伯克利提出机器人训练新方式
UC伯克利团队研发出名为VideoMimic的新系统，能将视频动作迁移到真实机器人。它已让宇树G1模仿100多段人类动作，还能适应各种地形。其工作流程含视频转仿真、仿真训练策略、策略迁移到实体机器人。
字节最新大模型秘籍：只挑能有推理潜力的数据训练！1.3B模型无需标签自动挑选
字节Seed团队发布AttentionInfluence成果，用1.3B模型给7B模型选数据，无需训练和标签。通过比较基础与弱化模型损失差异评估数据影响，在多基准测试提升模型性能，还能结合分类器全面提升表现。
Nature公开谷歌IMO金牌模型技术细节！核心团队仅10人，一年给AI编出8000万道数学题训练
谷歌DeepMind的IMO金牌模型AlphaProof技术细节公开。团队规模小，核心成员是IMO金牌得主。它把数学证明当游戏，用30亿参数模型和改进树搜索算法。训练难题靠自动形式化解决，赛场用TTRL突破，已开放使用。
黄仁勋对话 10 位开源 AI 掌门人：未来算力将向后训练倾斜，OpenClaw 开启了现代计算机的新想象｜GTC 2026
在 GTC 2026 上，黄仁勋与 10 位开源 AI 掌门人探讨开放模型。大家认为 AI 正从模型走向系统，未来算力或向后训练倾斜。OpenClaw 让大众感知到 agent，企业落地难点在治理，开放模型价值体现在可控、定制和信任。
Karpathy最新手搓！复现GPT-2成本狂降600倍：仅需507元3小时训练「最好的AI学习项目」
Andrej Karpathy的个人项目nanochat更新，现训练GPT - 2级别的LLM成本低于100美元，在单个8XH100节点上仅3小时花约73美元，较7年前成本降600倍，还列出关键优化技术，设排行榜。
离谱……面壁让 AI 写了个训练框架，然后它自己训出了最强的 1B 模型：MiniCPM5-1B
面壁发布 1B 参数量级最强端侧文本大模型 MiniCPM5 - 1B，其 Base Model 由 AI 编写的训练框架 ForgeTrain 训出，速度超英伟达 Megatron 10%。该模型性能出色，部署门槛低，数据治理方案对应数据集也已开源。
视频世界模型跑长序列不「崩」了！用光流约束+历史记忆+多步训练，让动态场景稳如磐石
现有视频世界模型在长时间交互中易出现运动不合理与场景崩坏问题，核心原因是误差累积。MagicWorld提出面向长时稳定性的交互式建模框架，通过光流约束、历史缓存检索和多步聚合训练，有效缓解误差累积。
全球首个完全AI编写的训练框架来了，速度反超英伟达：面壁要用 AI 把国产算力软件重写一遍
面壁智能发布全球首个全由AI编写的训练框架ForgeTrain，在华为昇腾系列上验证，速度超英伟达Megatron 10%。其构建分三阶段，目标是为不同需求“现场锻造”软件，还为国产算力软件生态赶超提供新思路。
明星AI编码助手涨价10倍惹怒开发者！CEO 回应：有人花千元薅了我们10多万，不挣钱不可持续
10月16日，AI代码助手Augment Code更新定价模式，按AI使用量计费，用户称成本涨超10倍。CEO称原模式不可持续，举例有用户带来高额成本。行业内多家公司也调整定价，反映AI编码助手成本和定价难题。