搜索：多模态生成模型

「多模态生成模型」共找到 8795 篇相关文章

All In AI的Google I/O 2025还开源了一系列模型，冲~

谷歌CEO称Google IO 2025上，数十年AI研究成果已成为现实。大会亮点多与AI相关，如Gemini 2.5系列模型表现出色，还有Veo 3等。此外，还开源了medgemma、gemma - 3n等模型。

中国科学院自动化研究所李国齐、徐波团队发布全球首款大规模类脑脉冲大模型SpikingBrain 1.0。它处理长文本比主流Transformer模型快超百倍，训练数据仅为2%。该模型采用新架构，降低计算复杂度，还可转换现有模型，且在国产GPU完成训练。

目前世界模型模拟方法在维持长期一致性上有挑战，南洋理工大学、北京大学王选计算机技术研究所、上海人工智能实验室联合开源长记忆世界模型WORLDMEM，介绍了其记忆机制、基础架构、训练技术及检索策略等。

图灵奖得主Yann LeCun预计将很快离开Meta。因Meta风向转变，LeCun失势。他投身AI研究40年，认为大语言模型是死路，世界模型才是未来，或为此离开Meta并计划创业。

本文由多机构联合完成，针对传统视觉 tokenization 方法优化与下游任务训练割裂问题，提出 ETT 调优方法。它实现联合优化，在多模态理解、生成、重构任务表现出色，虽有局限但带来新突破。

MiniMax新发布的视频模型H3在多模态能力出色，霸榜Artificial Analysis榜单。但开源模型有部署和成本难题，秘塔AI上线该模型，免部署，2K方案0.15元/秒，768P方案0.09元/秒，降低创作门槛。

香港浸会大学联合腾讯优图实验室提出 Streamo，将‘何时回答’变为模型预测的 token，通过端到端训练框架把离线视频模型转化为实时流视频助手，还构建 Streamo - Instruct - 465K 数据集，实验效果良好。

先进多模态大模型处理高分辨率图像有瓶颈，复旦和南洋理工研究者提出基于视觉Grounding的多轮强化学习方法MGPO，能让模型精准推理，还可使模型从答案反馈中涌现视觉定位能力，避免依赖昂贵标注。

当前多模态大模型推理效率低、稳定性不足。本次分享将介绍DMLR，它无需额外训练，仅在推理阶段生效，通过在潜空间优化潜在思考token、引入关键视觉信息，实现高效稳定的多模态推理。

谷歌旗下DeepMind发布通用型世界模型Genie 3，可通过文本提示生成动态世界并实时交互，其生成内容物理一致性达分钟级。它功能丰富，也受业内好评，但有行动空间有限等局限，对迈向AGI意义重大。