「多模态生成模型」共找到 8795 篇相关文章
腾讯混元最新开源：一套RL框架打通多个模态，庞天宇团队新作
大语言模型的RL技术已成熟，但多模态生成模型的强化学习训练仍“各自为战”，制约AIGC模型能力上限。腾讯混元庞天宇团队开源UniRL框架，打通多模态RL后训练，覆盖多种模型，内置算法与奖励组件。
视频理解新标杆，快手多模态推理模型开源：128k上下文+0.1秒级视频定位+跨模态推理
快手开源能看懂视频并跨模态推理的大模型Keye-VL 1.5，其有时序定位、描述和推理能力，跑分领先。采用三段式架构和Slow-Fast编码策略，经四阶段预训练和多阶段后处理，团队成果多，推动多模态技术落地。
文心大模型 4.5 系列正式开源，涵盖 10 余款模型
6月30日，百度正式开源文心大模型4.5系列，含10款模型，实现预训练权重和推理代码全开源。可在飞桨星河社区等平台下载，百度实现框架与模型“双层开源”，技术创新多，性能表现优。
登上NeurIPS，Genesis开创无需OCC引导的多模态生成新范式，在视频与激光雷达指标上达到SOTA水平
华中科技大学与小米汽车提出多模态图像 - 点云联合生成框架Genesis，采用两阶段架构和DataCrafter模块。在nuScenes数据集实验显示，其在视频与激光雷达指标达SOTA水平，还提升了下游感知任务效果。
X-SAM：从「分割一切」到「任意分割」：统一图像分割多模态大模型，在20+个图像分割数据集上均达SoTA
中山大学、鹏城实验室、美团联合提出X - SAM，统一图像分割多模态大模型。它将分割范式扩展，设计通用输入输出，采用端到端架构和三阶段训练策略，在超20个数据集达最优，为图像分割研究开辟新方向。
微软亚洲研究院机器学习组首席研究员刘炜清确认出席 AICon 深圳，分享由生成式基础模型驱动的金融市场仿真引擎
8月22 - 23日，首届AICon全球人工智能开发与应用大会深圳站将启。微软亚洲研究院刘炜清等专家将分享经验。刘炜清会介绍由生成式基础模型驱动的金融市场仿真引擎MarS，展示其在金融场景潜力。
RL加持的3D生成时代来了！首个「R1 式」文本到3D推理大模型AR3D-R1登场
强化学习首次被系统性拓展到文本到3D生成领域，上海人工智能实验室等机构研究者提出首个强化学习增强的文本到3D自回归模型AR3D - R1，还提出Hi - GRPO范式和MME - 3DR基准，实验显示其性能优异。
一个全新的世界模型，终于让AI视频进入了“无限流”时代。
AI视频公司PixVerse推出实时世界生成模型PixVerse R1，用户可输入Prompt修改视频进程，无干涉时视频会自行延续。该模型为世界模型补上实时视频生成方向，实测体验乐趣十足。
图像编辑模型不止生成：BIGAI&上交大提出EAR范式，系统测试其视觉规划能力
上海交通大学联合北京通用人工智能研究院提出EAR范式，构建AMAZE基准，分析图像编辑模型视觉推理能力。研究发现模型零样本表现弱，扩散式模型更适合视觉规划，CoT效果不稳定等。
WithAnyone重磅开源：这可能是你见过最自然的AI合照模型
复旦大学携手阶跃星辰推出全新AI合照生成模型WithAnyone，它能生成自然、真实、毫无违和感的AI合照。该模型打破以往方法局限，当前ComfyUI版本已上线，还全面开源代码、模型权重等。