搜索：多模态理解与生成

「多模态理解与生成」共找到 3413 篇相关文章

对谈 Chai-2 核心科学家乔卓然：抗体生成成功率提升百倍，分子生成平台是药物研发的 GPU｜Best Minds

文章访谈 Chai Discovery 创始科学家乔卓然，探讨 Chai-2 设计理念与行业意义。Chai-2 能零样本生成活性抗体，成功率提升百倍，将开发周期从数月缩至两周。未来分子生成平台或成药物研发的 GPU，合成数据将成“第三模态”。

文章借神经科学家Grace Huckins观点，探讨AI时代人类理解世界能力问题。以‘微处理器论文’实验为例，指出大量数据未必带来理解。还阐述理解与预测分离、科学理解危机等，强调理解应是科学核心。

openJiuwen社区发布业界最早工程化落地的多模态Skill范式Skill-Omni，让Agent经验从‘读得懂’升级为‘看得见’。它能将网页和视频视觉知识沉淀为多模态Skill，还介绍了生成及读取方式和适用任务。

Google Research团队发布生成式UI研究，打破Markdown文字墙模式，能将用户需求实时转化为完整应用程序。系统通过多组件协作，构建不同风格界面，在多领域有应用案例，虽有挑战但前景好。

澳大利亚与英国研究人员提出文档到演示视频生成任务，推出PresentAgent系统。它能将长文档转为带语音和同步幻灯片的视频，流程可控且适应多领域。实验显示其生成视频接近人类表现，还设计了双路径评估策略。

多模态大模型训练常采用‘题海战术’，存在能力诊断不精准、视觉内容缺乏扩展等问题。北大和山大团队提出DPE框架，通过‘诊断-生成-强化’闭环提升模型能力，实验效果显著，还强调训练应具备诊断能力。

OpenAI发布图像生成模型GPT - Image - 1.5，有更严谨指令遵循、精确编辑等亮点，速度快4倍。玩法类似Nano Banana，在指令遵守和精确编辑上有提升，将在ChatGPT面向所有用户推出，价格下降。但在世界理解能力上遭质疑。

过去大模型生成的游戏虽代码能跑，但常陷入“可玩性黑洞”。Spellcaster让多个专用Agent协同处理，形成“生成—运行—检查—修复”循环。目前能快速生成多种游戏原型，未来将用世界模型直接生成画面。

Google的Notebook LM虽能上传资料一键生成播客总结，但有数据隐私等问题。近期GitHub上的Open Notebook获7.4K标星，它复制并超越前者功能，强调数据主权，有多项亮点且部署灵活。

9月25日，生数科技全球上线新一代图生视频大模型Vidu Q2，打破AI生成表情假、动作飘忽等问题，实现从“视频生成”到“演技生成”跨越，有AI演技生动、镜头语言丰富等亮点，已多端上线。