「多模态扩散模型」共找到 7922 篇相关文章
12秒生成1万token！谷歌推出文本「扩散模型」Gemini Diffusion，研究员：演示都得降速看
谷歌将图像生成常用的“扩散技术”引入语言模型，推出Gemini Diffusion，12秒能生成1万tokens，速度比Gemini 2.0 Flash - Lite更快。它通过逐步优化噪声学习生成输出，目前是实验性演示，可申请体验。
视频扩散模型新突破！清华腾讯联合实现高保真3D生成，告别多视图依赖
清华大学联合腾讯提出Scene Splatter，基于视频扩散模型，从动量视角引导其生成满足三维一致性的视频片段，提升三维场景生成效果，解决了传统方法在单张图片重建三维场景的难题。
谷歌开源Gemma 3n：2G内存就能跑，100亿参数内最强多模态模型
本周五凌晨，谷歌正式发布、开源全新端侧多模态大模型 Gemma 3n。它有多模态设计、专为设备端优化等特性，核心是 MatFormer 架构，还采用了 PLE 技术等，在多方面实现质量提升。
国产多模态Agent拿下医学分割SOTA！不用改模型、不加token | 浙大&上海AI Lab
现有医学多模态大模型在分割生物医学图像时存在瓶颈，浙大蔡钰祥教授、上海AI Lab江彦开等人提出IBISAgent框架，将分割定义为多步视觉决策过程，实验显示其在多数据集上大幅领先对比方法。
VAE再被补刀！清华快手SVG扩散模型亮相，训练提效6200%，生成提速3500%
前脚谢赛宁宣告VAE在图像生成领域退役，后脚清华与快手可灵团队就推出无VAE潜在扩散模型SVG。它通过语义+细节双分支+分布对齐，实现多任务通用，训练提效62倍、生成提速35倍。
UofT、UBC、MIT和复旦等联合发布：扩散模型驱动的异常检测与生成全面综述
多伦多大学、麻省理工学院等高校研究者合作完成长文综述，聚焦扩散模型在异常检测与生成领域的应用，梳理图像、视频等异常检测任务进展，提供分类体系，展望未来趋势。
拒绝Reward Hacking！港科联合快手可灵提出高效强化学习后训练扩散模型新范式
使用强化学习微调扩散模型时，常面临Reward Hacking和KL正则化阻碍探索收敛的问题。港科等团队提出GARDO框架，通过门控自适应正则化和多样性感知优化，解决痛点且全面开源。
视频理解新标杆，快手多模态推理模型开源：128k上下文+0.1秒级视频定位+跨模态推理
快手开源能看懂视频并跨模态推理的大模型Keye-VL 1.5，其有时序定位、描述和推理能力，跑分领先。采用三段式架构和Slow-Fast编码策略，经四阶段预训练和多阶段后处理，团队成果多，推动多模态技术落地。
文心大模型 4.5 系列正式开源，涵盖 10 余款模型
6月30日，百度正式开源文心大模型4.5系列，含10款模型，实现预训练权重和推理代码全开源。可在飞桨星河社区等平台下载，百度实现框架与模型“双层开源”，技术创新多，性能表现优。
告别VAE压缩损耗，南京大学用DiP让扩散模型回归像素空间，实现10倍加速与SOTA级画质
南京大学、腾讯优图实验室和新加坡国立大学发布DiP框架，即将开源。该框架不依赖VAE，仅增0.3%参数量，推理提效10倍，在ImageNet获1.79的FID分数，解决扩散模型在像素空间难兼顾质效的问题。