「跨模态生成」共找到 2252 篇相关文章
清华朱军团队Nature Machine Intelligence：多模态扩散模型实现心血管信号实时全面监测
清华朱军等团队提出多模态生成框架 UniCardio，在单扩散模型中实现心血管信号去噪、插补与跨模态生成。它采用扩散模型和 Transformer 架构，结合持续学习范式，实验表现优，有望用于多领域。
顶级视频模型半衰期只有 30 天，但生成式媒体 infra 公司的收入却在一年增长了 60 倍
文章聚焦生成式媒体 infra 公司 fal.ai，其借统一 API 和云端平台让开发者高效调用多模态模型。深入分析其成功因素，如早期押注生成式视频、优化算力和成本、构建生态等，还探讨用户使用模式与行业发展趋势。
第一个用物理做计算原语的大规模生成模型Un-0来了，或将AI能耗降低1000倍？
Unconventional AI 发布首个以物理为计算原语的大规模生成模型 Un-0，由‘模拟耦合振子系统’驱动。其目标是降低 AI 能耗，在 ImageNet 64×64 上 FID 达 6.74，质量接近部分主流传统图像生成方法刚发布时水平。
图像分词器造反了！华为 Selftok：自回归内核完美统一扩散模型，触发像素自主推理
华为盘古多模态生成团队推出 Selftok 技术，通过反向扩散将自回归先验融入视觉 token。它突破传统，实现因果 token、强化学习友好型 token 及纯 AR 大一统架构，实验在多方面表现优异，论文还入选 CVPR 2025 最佳候选。
任意条件，「可控」文生图扩散模型综述 | TPAMI'25
北京邮电大学团队在顶级期刊IEEE TPAMI发布综述，探讨文生图扩散模型可控生成技术，将核心问题概括为如何注入新型条件信号并稳定控制，从任务和方法层面梳理技术，还提及应用场景与未来方向。
当万相2.5刚开卷有声视频，7月已经发布音频一体化的百度蒸汽机又开卷长视频了
百度升级MuseSteamer蒸汽机视频生成模型，可生成任意长度视频，生成中能更新prompt交互创作。其技术规划前瞻体系化，成本低，在多行业有应用和商业化空间。
谷歌Gemini Diffusion：1500 token/秒，快如闪电！
谷歌DeepMind在I/O 2025上推出实验性模型Gemini Diffusion，将扩散技术用于文本生成。它每秒能生成约1500个token，比Gemini 2.0 Flash - Lite快5倍，具备高响应速度、文本连贯性等优势。
扩散不死，BERT永生！Karpathy凌晨反思：自回归时代该终结了?
苹果前员工Nathan Barry得出BERT本质是文本扩散一步的结论，将表示学习算法改造成生成算法。OpenAI创始员工Karpathy对此沉思，认为生成逻辑在LLM架构中可变。实验证明RoBERTa可转为生成引擎。
实测Gemini图片转视频新功能，终于蹲到经典梗图后续了（doge）
Gemini接入带声音的图片转视频功能，作者实测该功能。用开盒指令测试，生成速度较快；还尝试给梗图加后续，发现生成精确内容需详细提示词，且不能生成具体真人形象内容。
逐个token太慢！大模型原生并行出token，CMU、英伟达新作Multiverse
卡耐基梅隆大学（CMU）和英伟达研究者提出Multiverse，这是能实现原生并行生成的新型生成模型。它解决了现有并行生成模型缺乏连贯性等问题，通过多方面协同设计构建推理模型，还开源了生态系统。