「视频预训练」共找到 3030 篇相关文章
个人开发者训400亿参数大模型：分布式算力，DeepSeek架构，3090单卡部署
Nous Research推出Psyche Network，可整合全球算力训练AI。它基于Deepseek的V3 MLA架构，有DisTrO优化器等技术，能让个人和小团体创建大规模模型，还实现40B参数LLM预训练。
打破具身世界模型可执行性鸿沟 ！港中深-跨维智能团队提出EVA框架，用强化学习让视频世界模型真正“动”起来
近期，利用视频生成模型为机器人构建“世界模型”成热门路线，但存在“可执行性鸿沟”。港中深 - 跨维智能团队提出 EVA 框架，用强化学习优化视频生成，实验显示其能提升视觉规划、仿真任务成功率及真实部署稳定性，还有数据合成潜力。
1万4颗星！机械臂可以接大模型了！面向真实世界机器人的尖端人工智能LeRobot
LeRobot 为 PyTorch 中真实世界机器人提供模型、数据集和工具，降低入门门槛。包含尖端方法，已提供预训练模型等，未来将增加真实机器人支持，文中还介绍其安装、使用等内容。
The Batch：927｜极速扩散学习
研究表明扩散图像生成器学习重建预训练编码器嵌入可加快训练，Apple团队提出的FAE，通过缩小嵌入再重建解决了因嵌入尺寸大导致的训练受阻问题，性能与先进模型相当且训练更快。
重磅！翁荔最新Scaling Law深度洞察来了
北大毕业的前OpenAI高管翁荔（Lilian Weng）的《Scaling Laws, Carefully》值得一读。Scaling law是预训练预算表，能帮少烧错钱。文章探讨大模型训练预算分配，分析Kaplan和Chinchilla结论差异及数据稀缺问题。
OpenAI去年挖的坑填上了！奖励模型首现Scaling Law，1.8B给70B巨兽上了一课
全新奖励模型「POLAR」采用对比学习范式，摆脱对海量人工标注依赖，有强大Scaling潜力。它衡量训练与目标策略「距离」作奖励信号，用自动化合成数据预训练，小模型能超越大数十倍规模对手。
蚂蚁出手VLA，就是开源超越Pi0.5的基座模型
当前具身智能落地面临泛化能力不足的挑战，蚂蚁灵波开源发布的基座模型 LingBot-VLA 带来突破。它基于大量真实世界数据预训练，在多项真机任务测试中超越 Pi0.5，且在架构、效率等方面有创新。
五倍推理加速，激发自回归潜能，苹果新工作让LLM预测未来
近年来自回归训练方法成语言模型主流范式，但推理阶段计算开销大。苹果研究人员开发框架，让预训练自回归大模型多 token 预测，代码和数学任务推理加速达 5.35 倍，一般任务约 2.5 倍。
模拟大脑功能分化！北大与港中文发布Fast-in-Slow VLA，让“快行动”和“慢推理”统一协作
北大与港中文研究团队发布 Fast-in-Slow（FiS-VLA）全新双系统视觉 - 语言 - 动作模型，将快速执行模块嵌入预训练视觉 - 语言模型，实现快慢系统一体化。该模型在多平台表现优异，控制频率大幅领先。
刚刚，Dexbotic开源！VLA性能+46%，机器人叠盘子100%成功，统一具身智能底座
Dexmal原力灵机开源的Dexbotic是具身智能VLA模型一站式科研服务平台，可提供基础设施。其预训练模型在多仿真器中提升传统VLA策略，还推出开源硬件DOS - W1，覆盖训练需求，架构有创新。