「视频训练」共找到 2971 篇相关文章
OVI:统一的音视频生成模型,声音与画面同步诞生
音视频生成领域以往多阶段架构易致音画不同步等问题。耶鲁大学团队提出 OVI 统一范式,采用双塔 DiT 架构与分块式跨模态融合机制,实现音画同步生成,不过目前有计算开销大、音频有局限等问题。
机器人看29s视频学会一个新技能,自变量开源HOST框架
自变量机器人开源的HOST框架,让机器人看29s人类示范视频就能学会新技能,原技能不受影响。它通过自定位级联预测,解决了人和机器人动作节奏、身体结构不同的问题,效率远超主流微调方案,推动机器人进家庭。
低延时、可交互的音频驱动肖像视频生成框架LLIA
美团提出新型音频驱动肖像视频生成框架LLIA,是低延迟、可实时交互的虚拟形象生成技术。它提出四项核心技术,引入三大核心模块,构建超100小时数据集,在多方面有出色表现。
不训练,解锁Agentic智能!微软:只需给LLM一台电脑
人大、MSR、清华的LLM - in - Sandbox开启「通用代理智能」新范式,把大模型放进“虚拟机”,让其在6大任务上成绩全线暴涨,零额外训练解锁“通用代理智能”,还介绍了相关实验、优化及效率情况。
当AI小说遇上短视频:这款神器让你1秒变导演!
作者小G推荐开源项目TaleStreamAI,它能将AI小说片段转为电影感短视频,具有全自动处理等功能,官方提供一键安装包,对创作者、程序员等有不同价值,开发者还在招募人员。
别再手写 Skill 了!微软最新研究:像神经网络一样训练 Skill
微软研究提出 SkillOpt 方法,把 Skill 文档当「权重」训练,在 52 个测试组合中全部最优或并列最优,平均提升 23.5 分,碾压人类手写。该方法跨模型、环境有效,已开源,使用方便。
Waver:面向统一图像与视频生成的高性能基础模型
字节提出的Waver是面向统一图像与视频生成的高性能基础模型,支持T2V、I2V、T2I。它引入新架构、结合筛选流程与质量模型。虽有局限,但表现出色,架构设计独特,功能多样。
免训练加速61倍!陈怡然团队新作DPad:仅关注「彩票token」
杜克大学陈怡然团队新作DPad,发现扩散大语言模型关注少量「中奖」token,推理速度可提61 - 97倍,还增强模型语境学习能力。DPad免训练零成本挑关键信息,实现「少算多准」。
EmbodiChain开源,用100%生成式数据自动训练具身智能模型
跨维智能开源EmbodiChain,它是通往GS - World的基石,重构具身智能学习范式。其以100%生成式仿真数据训练机器人,突破数据瓶颈,还对比了不同路线,测试显示其模型效果佳。
Sora2还在5秒打转,字节AI生视频已经4分钟“起飞”
字节和UCLA联合提出Self - Forcing++方法,无需更换模型架构或重收集数据集,就能生成分钟级长视频,最长达4分15秒,高质量且开源,在长、短时长生成上性能领先。