搜索：医学多模态大模型

「医学多模态大模型」共找到 7927 篇相关文章

OpenVision 2：大道至简的生成式预训练视觉编码器

多模态大模型浪潮中，视觉模块是关键。此前OpenVision训练管线复杂，成本高。研究者提出OpenVision 2，移除文本编码器与对比学习，引入随机丢弃视觉token技巧，性能佳且效率高，挑战了对比学习范式。

阿里通义实验室语音团队联合中科大发布多模态电影配音模型Fun - CineForge，开源模型并构建中文电视剧配音数据集。它能处理多种场景，有视频理解等亮点，还给出制作数据集步骤。

英伟达机器人主管Jim Fan判断，继“下一个词预测”后，世界建模将成新预训练范式，2026年大世界模型将为多模态AI奠基。他还讨论世界模型定义、应用，展望新推理形式，业内人士也各抒己见。

本周AI圈热点不断：腾讯回应OpenClaw之父“抄袭”指责；字节AI视频模型Seedance 2.0发布叫停；Meta或裁员20%；美团王兴谈海外战略与AI冲击；“养虾热”致Mac mini断货；DeepSeek V4和腾讯新混元模型4月将发布。

Bret Taylor履历丰富，曾助力OpenAI解决危机。他认为AI市场将分化为前沿基础模型、AI工具层和应用型AI三个板块，不建议普通创业者做基础模型，看好应用型AI中Agent生态。还分享创业、编程等多方面见解。

当前主流视觉 - 语言模型在企业级应用有难点，百度千帆团队提出Qianfan - VL系列多模态大模型，在通用和企业级任务表现出色，基于自研芯片训练，还提供框架与管线降低成本。

北大和阿里团队提出 UniLIP，解决了统一多模态模型中语义理解与像素重建的矛盾。它创新微调 CLIP，实现图像重建，还提出双条件架构用于生成和编辑，在多基准取得 SOTA 性能。

北大、字节等团队发现多模态模型先思考后作画会降低图像语义保真度，因自回归架构有误差传播问题。为此提出并行多模态扩散框架MMaDA - Parallel，构建ParaBench基准，多项优化后在测试中击败Bagel。

一支不到15人的华人团队推出AI生图模型Uni-1.1，在Arena.ai榜单冲进全球前三。它将推理和生成融入同一模型，创意可控，价格低，已获阿迪等企业认可，未来将拓展到多模态系统。

在文化遗产与人工智能交叉领域，研究人员提出把大型多模态模型放于‘诊断—补弱—精细化评估’闭环训练，配套结构化评测基准，让模型在文化遗产领域接近专家级能力。介绍了技术步骤、数据基准及关键发现等。