「预训练策略」共找到 2839 篇相关文章
OpenAI 迈出关键一步：LLM 黑盒不再是盲盒
OpenAI开源新研究成果，提出全新范式，训练权重稀疏的Transformer模型以提取人类可理解的电路。该方法分三步，关键结果显示稀疏模型优势多，但也存在训练成本高、规模有限等局限，还给出两条未来路线。
微软×UIUC：给每个学生造一个「数字分身」，AI教师终于有了陪练
微软和 UIUC 合作研究 StudentSim，基于真实学生数据训练个性化学生模拟器框架，解决了过去学生建模方法的问题。它经两阶段训练，在多领域实验中表现出色，还能为 AI 教师优化提供反馈。
无需训练，即插即用，2倍GPU端到端推理加速——视频扩散模型加速方法DraftAttention
高质量视频生成任务中，扩散模型成主流，但DiT模型注意力机制计算量大，成推理瓶颈。现有加速法效果不佳，为此美国东北大学等团队提出DraftAttention，可2倍加速推理且不损画质。
吴恩达新作：87%推理token用不着，丢掉反而快3倍
吴恩达新作Prefix Sliding指出，模型推理时丢弃中间已贬值token，只保留前缀+滑动窗口，无需训练可提速3倍，配合RL训练能将推理轨迹扩展到10万token以上。该方法为Agent场景提供新思路。
如何利用pytorch memory snapshot进行显存分析
文章聚焦于用pytorch memory snapshot分析模型训推显存消耗，不讨论工具使用，侧重解读记录内容。以混合精度训练为例，介绍各步骤显存管理细节，还给出单层、双层模型及zero1训练的显存分析。
Pulsar特性在AI场景中的使用
随着AI发展，架构从单体到分布式演进，消息中间件成关键。Pulsar以存算分离等特性价值凸显，在多模态训练、模型训练、智能体等AI场景有独特优势，如处理超大消息、实现断点续训等。
The Batch: 839 | 好莱坞加入 AI 版权之争
好莱坞电影公司加入对用其版权作品训练AI模型公司的抗争。迪士尼和环球起诉Midjourney，指控其未经授权用版权作品训练模型、分发含其角色图像，请求停侵权并索赔，版权法相关界定尚不明确。
干家务一小时挣1000元，具身智能时代人类新岗位
机器人是AI热门领域，但面临数据荒。训练数据分真实与合成两类，前者质量高但成本高、规模有限，后者成本低。数据标注服务商高价回收做家务等视频作训练素材，各方努力下优质数据仍短缺。
国产AI击败Meta：ReasonRank荣登BRIGHT榜单第一
基于LLM的段落排序方法中，listwise排序虽有优势，但当前重排器难处理复杂推理查询。ReasonRank通过生成推理密集型训练数据及两阶段后训练，赋予listwise重排序器强推理能力，在BRIGHT榜单击败Meta。
华为创造AI算力新纪录：万卡集群训练98%可用度，秒级恢复、分钟诊断
大模型落地需强大算力集群支撑，构建万卡级算力集群是顶尖挑战。华为昇腾万卡算力集群近乎‘永不罢工’，其公开技术秘密，提出‘3+3’双维度技术体系，多项指标表现优异。