「预训练范式」共找到 2901 篇相关文章
LeCun出手，造出视频世界模型，挑战英伟达COSMOS
训练有效世界模型面临数据、任务难度、算力消耗和评估等难题。Meta研究者提出通用视频世界模型DINO - world，可预测未来帧，在多方面有优势，实验显示其性能显著，能降低对标注数据需求。
腾讯AngelSlim重磅升级！面向全模态的大模型压缩算法工具包，推理速度飙升 1.8倍！
近年来，推理阶段的成本等因素制约大模型规模化应用。腾讯混元升级的 AngelSlim 围绕 Eagle3 投机采样训练范式构建系统化实现，支持多模态场景，最高可实现 1.9× 推理加速，还具备多亮点。
人大-清华-腾讯发布：音频 - 视觉多模态任务统一框架
人大、清华和腾讯合作发布Crab论文，目标是实现多模态场景理解任务的高效一统。它针对音频 - 视觉理解模型难点提出解决方案，构建数据集、设计LoRA结构、统一架构，训练分预训练和指令调整两阶段。
全球闲置算力训个模型，性能媲美R1，老黄天塌了！Karpathy曾投资它
全球首个分布式RL训练模型INTELLECT - 2发布，整合闲置算力完成训练，成本降低，性能媲美DeepSeek - R1。其采用分布式异步强化学习范式，团队开源四大关键组件，还获Karpathy等投资，未来有多项计划。
“AI大神”李沐终于开源新模型，爆肝6个月，上线迅速斩获3.6k stars！
7月23日，“AI大神”李沐开源音频基础模型Higgs Audio v2，构建于Llama - 3.2 - 3B之上，预训练数据丰富。该模型在多个测评中成绩领先，有多种能力，李沐介绍其技术及训练方法。
一张俯视图，竟然能生成完整3D小镇？
获取高质量3D场景成本高、耗时长，现有3D生成模型扩展到完整场景生成时问题多。加州大学提出无需训练的3DTown框架，能从单张俯视图合成真实连贯3D场景，虽有挑战但表现优于基线方法。
LLM加RL遭质疑：故意用错奖励，数学基准也显著提升，AI圈炸了
华盛顿大学等机构论文引爆AI界，其发现用虚假奖励训练Qwen2.5-Math-7B模型，也能提高MATH - 500成绩。虚假奖励对Qwen模型有效，但在其他模型上有限，凸显RLVR有效性与模型能力有关。
刚刚，Meta风雨飘摇中发了篇重量级论文，作者几乎全是华人
风雨飘摇的Meta发布重量级论文《Agent Learning via Early Experience》，提出「早期经验」新范式，让AI智能体「无师自通」，为突破强化学习瓶颈提供新思路。该范式结合两种策略，实验效果显著，还指出了局限与未来方向。
物理AI的「原生」时刻：原力灵机发布具身大模型DM0
主流‘预训练 - 后适配’范式有局限，原力灵机联合阶跃星辰提出具身原生 VLA 模型 DM0。它能统一机器人操作与导航，在 RoboChallenge 测试领先，还介绍了架构、训练方法及未来演进方向。
刚刚，国产AI自己造了AI，全球首例！
面壁智能实现全球首例国产AI造AI，用AI编写预训练框架ForgeTrain，性能超英伟达Megatron，还训练出MiniCPM5 - 1B模型。该模型可作桌宠，小尺寸高智能，还能自定义人格，提供工具链。