搜索：多模态生成模型

「多模态生成模型」共找到 8795 篇相关文章

12秒生成1万token！谷歌推出文本「扩散模型」Gemini Diffusion，研究员：演示都得降速看

谷歌将图像生成常用的“扩散技术”引入语言模型，推出Gemini Diffusion，12秒能生成1万tokens，速度比Gemini 2.0 Flash - Lite更快。它通过逐步优化噪声学习生成输出，目前是实验性演示，可申请体验。

过去两年视频生成模型不断提升画面参数，但传统模型生成的视频固定，用户无法干预。而世界模型可跟随操作实时渲染、动态生成世界。目前Noiz AI联合多机构发布实时可交互音视频世界模型HelixWorld 1.0，后续还将开源。

字节跳动开源统一多模态基础模型BAGEL，一个模型能同时理解和生成文本、图像、视频。部署测试有亮点但效果不稳定，还分享该模型体验Demo、地址及安装使用教程。

谷歌昨夜推出首个基于 Gemini 架构的原生多模态嵌入模型 Gemini Embedding 2，通过 Gemini API 和 Vertex AI 向开发者公开预览。它可将多类型数据映射到统一嵌入空间，多项基测排名第一，还获早期合作伙伴高度评价。

近日，极佳视界与湖北人形机器人创新中心联合发布端到端VLA具身基础模型GigaBrain - 0，这是国内首个用世界模型生成数据实现真机泛化的模型，后续将全面开源，能完成复杂操作，实验成功率超SOTA方法。

商汤开源全新架构的理解生成统一模型SenseNova-U1，虽小尺寸版仅8B参数，却能复刻GPT - Image - 2的不少绝活，在多项指标上登顶开源模型榜首，推理速度逼近主流商用闭源模型。它具备连续性图文创作等能力，底层是NEO - unify架构。

本文基于年中报告指出，当前模型API支出翻倍，企业重心转向模型推理。Anthropic市场份额超OpenAI，开源模型企业采用率下降。代码生成成热门场景，企业换模型重性能，AI支出从训练转推理。

国内AI视频玩家弯道超车，百度蒸汽机（文心专精版）开卷实时流式生成。它能边看边生成，生成快还互动佳，实现生成迅速、实时交互、无限续写，重新定义AI视频生成领域。

匹兹堡大学团队提出 PhyT2V 框架，论文已被 CVPR 2025 接收。该框架不依赖重训练或大量外部数据，通过链式推理与迭代修正机制，增强主流 T2V 模型物理场景泛化与生成能力，应用前景广。

中国科学院计算技术研究所（ICTNLP）开源类GPT - 4o多模态模型Stream - Omni，支持文本、视觉和语音任意组合交互，核心是高效模态对齐技术，少量多模态数据即可训练，有多种使用场景。