搜索：统一多模态基础模型

「统一多模态基础模型」共找到 1751 篇相关文章

三个月、零基础手搓一块TPU，能推理能训练，还是开源的

加拿大西安大略大学工程师暑期打造开源 ML 推理、训练芯片 TinyTPU。他们非专业出身，从基础学起。还介绍了造 TPU 原因、硬件知识、构建方法，及推理、训练的实现。

多模态大模型在多领域需求增长，但千卡级 GPU 训练挑战大。vivo AI 架构师王兆雄在大会演讲，结合 LLaVA 和 DiT 模型实践，解析优化策略，分享提升训练效率与稳定性的经验，还展望了 AI Infra 未来。

多模态大语言模型在语义级任务表现卓越，但在感知级图像理解有短板。上海人工智能实验室等机构联合发布 UniPercept，构建感知属性定义系统与基准测试集，训练强基准模型，在多方面表现超现有顶尖模型，应用潜力大。

学界常用「监督微调（SFT）+ 强化学习（RL）」训练大模型。但新研究发现，SFT 会引发「伪推理路径」，阻碍推理进步。相比之下，直接进行 RL 训练，模型多模态推理上限更高，该团队训练的模型还刷新了纪录。

北京智源研究院发布大规模多模态世界模型“悟界·Emu3.5”，它能模拟复杂动态物理世界，揭示“多模态Scaling范式”。该模型继承深化Emu3技术哲学，在多方面有提升，为世界模型领域提供进化路线。

现有多模态大模型难以理解音乐时间线。复旦大学与字节跳动团队提出 GaMMA，采用双编码器融合网络，经三阶段训练，还推出 MusicBench 评测基准。实验显示，GaMMA 在多基准上表现优异，刷新 SOTA。

检索增强技术在代码及多模态场景作用大，向量模型是关键。智源研究院联合高校研发三款向量模型BGE - Code - v1、BGE - VL - v1.5、BGE - VL - Screenshot，登顶多领域测试基准，已全面开放助力研究与应用。

阿里国际AI团队提出CIGEval，这是基于多模态大模型驱动的图像生成评估智能体框架。它集成多功能工具箱，通过任务拆解与工具调度提升评估准确性与可解释性，已在ComfyUI - Copilot上线。

北京智源人工智能研究院的悟界·Emu3.5是最新最强的开源原生多模态世界模型，能处理图、文、视频任务，在多项权威基准上性能亮眼，还具备理解长时序等能力，背后有技术创新，且选择开源。

中国人民大学团队提出SPACE模型，通过引入物种感知编码器和谱系分组增强解码器，革新架构，提升了DNA基础模型性能与泛化能力，在多项测试中表现优于主流模型。