搜索：图像理解与生成

「图像理解与生成」共找到 2967 篇相关文章

500美元刷新SOTA！训练成本砍到1/200，华人团队重构视频生成范式

香港城市大学等团队发布图像 - 视频生成模型Pusa V1.0，在基础大模型上引入VTA机制，用3860对视频 - 文字数据、约500美元微调，在I2V超越Wan - I2V - 14B实现SOTA，还解锁零样本任务能力。

香港科技大学等团队提出 PhysToolBench，用于衡量多模态大模型对物理工具的理解。它将理解分为三个等级，测试 32 个模型，揭示了大模型在工具理解上的不足，也为未来发展指明方向。

微软推出3D资产生成大模型TRELLIS，能接收文本或图像提示，输出高质量3D资产。其结果质量强，支持灵活切换输出格式和局部3D编辑，还给出安装和使用方法及项目地址。

4月16日，腾讯正式发布并开源混元3D世界模型2.0（HY - World 2.0）。它是多模态模型，能理解多种输入，自动生成、重建和模拟3D世界，支持多格式3D资产导出，可与游戏工作流对接。

俄亥俄州立大学团队用2亿生物图像训练BioCLIP 2模型，取得最优物种识别性能。它在无相应监督信号的非物种任务中，准确率远超DINOv2，还涌现出物种间生态对齐、物种内差异分离等生物学理解。

阿里千问发布AI PPT生成工具Qwen AI Slides，从内容结构到视觉配图全包。实测显示，其语义理解能力不错，文本渲染在简单字体表现好，排版有小瑕疵，适合课堂展示等场景。

Midjourney发布首个视频模型Video V1，它只能图生视频，操作便捷。虽分辨率仅480P，但采样率高。生成成本低，会员就能用。其美学表现好、生成速度快，不过在提示词理解等方面较弱。该公司有独特愿景。

人类能自然感知3D世界的几何与语义，但AI做到“两者兼得”是挑战。NTU联合StepFun提出IGGT，将空间重建与实例级上下文理解融为一体，还构建了InsScene - 15K数据集，解决了传统方法的问题。

不会搭建工作流没关系，可让AI自动生成。如用Claude帮搭建n8n工作流，它生成JSON文件，复制粘贴到n8n配置节点即可用。介绍n8n特点，还讲了Claude自动生成n8n工作流的操作步骤。

生成式模型在生成专业教育视频时受限，新加坡国立大学Show Lab提出Code2Video框架，以代码为中心，由三个协作智能体组成，能通过Python代码自动生成高质量教育视频，代码驱动生成优势明显。