「四段式预训练」共找到 2348 篇相关文章
北大团队改造DeepSeek注意力，速度快四倍还不丢精度
北大张牧涵团队提出新稀疏注意力机制HISA，突破64K上下文索引瓶颈，相比DSA提速2 - 4倍，且不丢精度、即插即用。该机制分块级粗过滤和块内精挑字符两步，实测表现亮眼，也指出后续改进方向。
揭秘！腾讯如何训练多智能体像专家一样设计游戏场景
腾讯游戏提出游戏场景自动布局生成系统IntelliScene 2.0，利用图像引导生成3D场景。它构建多智能体工作流，结合高质量数据集，经模型微调、视觉解析等步骤生成场景，经评估效果良好，为AI生成三维信息提供新路径。
Ilya 最新访谈，预训练时代终结后，AI行业来到了哪里？
Ilya接受90多分钟深度访谈，指出当前大模型泛化能力远不如人，Scaling时代终结，研究时代回归。还谈到AI经济影响与跑分不匹配、泛化能力鸿沟、情感价值等问题，预测超级智能5 - 20年到来。
逛完世界机器人大会，我们发现了四大趋势｜甲子光年
2025世界机器人大会8月8日在北京开幕，有200余家企业参展。甲子光年总结四大趋势，如激光雷达厂商入局、人形机器人进厂、VLA模型异军突起、仿生机器人走入现实，预示机器人产业走向实战。
AI自动写学术综述：10分钟生成6万字，成本不到四块钱
上海人工智能实验室等单位提出SurveyForge框架，能自动化生成高质量学术综述论文。它有双数据库协同驱动的大纲生成机制、学者导航代理SANA和并行生成与协调机制。还有SurveyBench评估框架，实验显示其效果好，应用前景广。
Lady Gaga进军AI生物科技：用“活体皮肤”训练模型，筛选抗衰老成分
当地时间8月21日，美国歌手Lady Gaga公开参与创办的生物技术公司Outer Biosciences及核心平台Yuna，该司用机器学习等结合离体人体皮肤，从海量化合物中找新护肤成分，已融资约2300万美元。
硅谷今日最热具身模型！不用后训练，看一遍就学会
北美具身初创Skild AI发布全新机器人基础模型S1，主打上下文学习，能看示范视频完成复杂操作。在未见过任务上成功率达66%，远高于传统方法。其发展或让开发机器人技能像给ChatGPT写Prompt。
DeepSeek开源MoE新利器LPLB：基于线性规划，专攻训练动态负载不平衡
DeepSeek在GitHub开源LPLB，这是基于线性规划的并行负载均衡器，用于优化MoE模型专家并行工作负载分配。它通过动态重排序、副本构建等机制实现动态负载均衡，支持多种拓扑结构，但也存在成本估算等局限性。
Karpathy「疯狂之作」：100美元、4小时，就能训练你自己的「小型GPT」
AI传奇人物、前特斯拉AI总监Karpathy推出开源项目「nanochat」，以不到8000行代码复现ChatGPT全流程，只需一台GPU、约4小时、成本仅百美元。项目在GitHub上线不到12小时获4.2k星标。
多模态后训练反常识：长思维链SFT和RL的协同困境
华为与香港科大研究发现，多模态视觉语言模型中，长思维链SFT与RL组合难协同增益。研究引入难度分类方法构建数据集，分析各方法表现及组合策略困境，还给出实验发现与未来研究方向。