「多模态理解与生成」共找到 3413 篇相关文章
去掉 VAE 之后，商汤用 8B 参数重新定义了开源生图的上限
商汤SenseNova U1开源后引发开发者社区关注，它基于NEO - unify架构，摒弃VAE，实现多模态理解与生成原生统一。在多项基准测试中表现出色，还针对企业办公场景优化，成为生产级任务新选择。
《多模态大语言模型技术发展报告》正式发布 | 中科算网算泥社区
2月5日，中科算网算泥社区发布《多模态大语言模型技术发展报告》。报告回顾多模态大模型发展历程，剖析核心技术创新，展示应用实践，分析挑战与机遇，为各界提供参考，推动多模态AI技术发展。
让AI自动生成工作流
不会搭建工作流没关系，可让AI自动生成。如用Claude帮搭建n8n工作流，它生成JSON文件，复制粘贴到n8n配置节点即可用。介绍n8n特点，还讲了Claude自动生成n8n工作流的操作步骤。
Code2Video：全新AI教学视频生成框架，助力高质量教学
生成式模型在生成专业教育视频时受限，新加坡国立大学Show Lab提出Code2Video框架，以代码为中心，由三个协作智能体组成，能通过Python代码自动生成高质量教育视频，代码驱动生成优势明显。
自定义轨迹驱动AI视频生成，ATI无需训练适配多种生成模型
字节提出视频生成运动控制统一框架ATI，通过轻量级运动注入器将用户定义轨迹投影至预训练图像 - 视频生成模型潜在空间，实现协调控制。用户指定关键点及路径控制运动，无需重新训练，适配不同架构。
李飞飞团队新作：简单调整生成顺序，大幅提升像素级图像生成质量
长期以来，AI生图面临潜空间模型细节损耗、像素空间模型结构混乱速度慢的矛盾。李飞飞团队最新论文提出Latent Forcing方法，通过重排生成轨迹，让像素扩散模型找回效率并刷新SOTA。
TransDiff--最简洁的AR Transformer + Diffusion图像生成方法
文章分享图像生成新方法TransDiff，它结合AR Transformer与Diffusion，提出MRAR范式。通过Q&A解答其使用Transformer原因、小Diffusion Deocder效果等问题，还指出它有连续帧生成潜力，将用于视频生成。
刷新3D生成上限！一键生成精细到毛发的3D资产
在高质量3D生成需求增长背景下，现有3D生成框架在兼顾效率和质量上有瓶颈。南洋理工大学等提出Ultra3D框架，采用coarse - to - fine两阶段流程，用Part Attention机制提升效率，支持高分辨率输出。
让AI生成视频「又长又快」：Rolling Forcing实现分钟级实时生成
南洋理工大学与腾讯ARC实验室联合研究，由博士生刘坤昊等完成，提出Rolling Forcing方法，通过滚动窗口联合降噪等创新设计，突破实时长视频生成瓶颈，实现分钟级实时生成，还支持交互控制，但仍有优化方向。
多人会话视频生成新突破：香港科技大学，浙江大学用单人数据实现多人交互视频生成
香港科技大学、浙江大学等开源 AnyTalker，提出音频驱动多人交互生成新范式。它用创新机制和两阶段训练策略，以少量数据实现多人视频生成，还构建评估指标，性能超现有方法。