「视频预训练模型」共找到 8436 篇相关文章
WRC整理床铺机器人背后模型曝光！端到端双系统全身智能VLA，仅凭少量微调就能get任务
星海图在2025WRC展示G0模型，可让机器人自主完成铺床任务。其发布端到端双系统全身智能VLA模型G0，结合真机数据集与架构，还构建开放数据集，评测结果优于π0模型，即将开源。
拒绝“熵崩塌”和“熵爆炸”！这项研究让大模型学会“精确探索”，推理成绩飙升
2024年以来，大模型在推理任务上进展显著，得益于RLVR方法，但面临“熵困境”。研究团队提出选择性熵正则化方法（SIREN），通过三重机制精准调控探索行为，实验证明其能提升模型推理成绩。
200行python代码实现从Bigram模型到LLM
本文从`babygpt_v1.py`出发，逐步加入self-attention机制、position嵌入等，实现完整GPT。介绍Transformer结构，讲解位置编码、单头自注意力等机制的代码实现，还阐述后续层的用途、参数调整及训练效果，最后提及模型优化方向。
碾压π0.5，复旦团队首创「世界模型+具身训练+强化学习」闭环框架
复旦团队针对当前 VLA 策略依赖模仿学习、真实机器人在线 RL 成本高、传统物理仿真器有局限等问题，提出 ProphRL 框架。该框架以世界模型 Prophet 为核心，结合 RL 算法，为具身智能落地提供更可行路径，实验效果显著。
jina-embeddings-v5-omni 发布！全模态向量小模型
Jina AI发布`jina-embeddings-v5-omni`，将`v5-text`能力拓展到多模态。`v5-omni-small`参数量小却追平LCO - 7B，在多模态评测中表现优异，但视频是短板。其采用‘冻结 + 投影’架构，训练快、省显存。
最新发现！每参数3.6比特，语言模型最多能记住这么多
Meta、DeepMind等团队研究语言模型记忆容量，提出新方法估计模型对数据点的‘了解’程度，发现GPT系列模型约每个参数3.6比特，还提出模型容量等相关定律，激发社区多方面思考。
从「片段生成」到「长视频漫游」：OmniRoam探索轨迹可控的长视频生成新范式
在生成式视频发展中，长时序视频生成面临挑战。研究者提出 OmniRoam 新方法，通过全景表示和分阶段生成框架，提升视频时空一致性，还构建数据评测体系，实验表现优，有效率和 3D 应用潜力。
GPT-5-Thinking新训练方法公开：让AI学会忏悔
OpenAI提出忏悔训练Confessions，让ChatGPT自己“坦白从宽”。在GPT - 5 - Thinking上实验有效，模型犯错后多会坦白，且更诚实，不影响原任务表现。还介绍了训练方法、实验结果及局限性。
6秒造一个「视频博主」，Pika让一切图片开口说话
8月11日，Pika推出“音频驱动表演模型”，允许用户上传音频结合静态图片生成高度同步视频，角色口型、表情、动作自然，平均6秒出720p高清视频，目前仅限iOS端且需邀请码。
训练数据枯竭怎么办？首篇「数据价值密度」综述理清思路
上海交通大学与上海人工智能实验室团队发布首篇「数据价值密度」综述。提出“数据价值密度”概念并定义，建立分类框架梳理现有工作，还指出该领域面临的挑战，为大模型训练提供指南。