「全模态统一」共找到 2277 篇相关文章
单目3DGS迎来突破：影石开源UniSHARP实现全相机适配
影石研究院发布单目新视角合成模型UniSHARP，可通过单次推理秒级获场景高斯点云，支持混合相机训练与免标定推理，适配所有相机。团队还构建数据集、设benchmark，代码等均已开源。
【7.2K Star】Google 基于LangGraph打造全栈Deep Research
谷歌开源Deep Research全栈应用，前端用React（with Vite）和Shadcn UI，后端研究代理用LangGraph，需Redis和Postgres数据库，LLM用Google Gemini，网络搜索用Google Search API，还介绍了Agent执行流程。
人在美国，待过三家AI Lab，全凉了！
科技行业大裁员，Meta裁掉老将田渊栋，AI从业者人心惶惶。南洋理工大学副教授Boyang Li工作过的三家工业研究实验室全倒闭，他分享经历，探讨工业研究困难的原因。
高保真、多控制集成于「统一画布」，组合式图像生成新范式！
Canvas - to - Image是新型图像生成框架，将多种控制方式整合到统一画布，用户可直观操作生成高保真、多控制图像。它简化创作流程，解决了现有方法控制单一分散、交互性差的问题。
北大开源统一世界模型框架：多类合成推理任务一套搞定
世界模型研究中，不同任务存在接口不统一等问题。北大DCAI课题组联合多方推出OpenWorldLib推理框架，整合多模态能力，构建标准化接口体系，在多任务上评估效果良好，降低研发门槛。
商汤SenseNova U1深度拆解，原生统一架构终结缝合时代
文章深度拆解商汤科技开源的新一代模型「日日新 SenseNova U1」，介绍其基于 NEO - Unify 原生统一架构，在数据、训练与推理深度协同，多维度测试成绩亮眼，代表多模态从拼接走向原生建模新方向。
OVI：统一的音视频生成模型，声音与画面同步诞生
音视频生成领域以往多阶段架构易致音画不同步等问题。耶鲁大学团队提出 OVI 统一范式，采用双塔 DiT 架构与分块式跨模态融合机制，实现音画同步生成，不过目前有计算开销大、音频有局限等问题。
ERNIE 5.0：走向原生统一的万亿参数多模态基础模型
过去多模态模型‘拼接式’方案存在理解与生成割裂问题，ERNIE 5.0 借此提出，用统一自回归框架做多模态理解与生成，在架构、训练与系统层面有创新，评测中各模态能力表现出色。
Being-VL的视觉BPE路线：把「看」和「说」真正统一起来
北大、UC San Diego 和 BeingBeyond 联合提出 Being-VL 的视觉 BPE 路线，先将图像离散化并「分词」，再与文本统一建模，能缩短跨模态链路、保留视觉结构先验，还介绍了实现步骤、训练方式等。
BLIP3-o统一图像生成与理解，多模态融合趋势显现
BLIP3 - o致力于统一图像理解和生成，提升生成质量与效率。它融合自回归和扩散模型，采用CLIP + Flow Matching架构等。经训练，在图像理解和生成任务表现佳，指令微调效果显著。