搜索：图像理解与生成

「图像理解与生成」共找到 2969 篇相关文章

PixelRefer ：让AI从“看大图”走向“看懂每个对象”

多模态大模型多停留在整体场景级理解，现实任务需细粒度、对象级理解。浙江大学等联合提出PixelRefer框架，可实现精细视觉指代与推理，在多项任务表现领先，轻量版性能优，还开源两类数据集。

作者分享可灵 2.1 首尾帧模型测试与使用教程，解决图片和提示词生成难题。介绍三种拿图法，给出 AI 生成提示词方法及原则，还指出可将流程固化、特效升维，提升视频创作效率与价值。

上海AI Lab的SIM1研究实现布料物理性质真实再现，解决仿真数据与真实场景对齐问题。它提出real - to - sim - to - real新范式，通过闭环流程生成数据，能扩展轨迹、提升泛化能力，有望重新定义机器人数据天花板。

自由量级发布新模型音潮V3.0，从写词到编曲能一键生成音乐。它有多种创作模式，降低音乐创作门槛，普通人也能轻松生成歌曲。其在演唱、旋律、编曲等方面显著提升，还开源部分成果。

近年来，多模态大语言模型兴起，但视频理解仍是难题。快手Keye团队推出Keye-VL-1.5，通过Slow-Fast编码策略、渐进式四阶段预训练和全面后训练流程等创新，实现视频理解突破，综合性能领先。

阿里通义团队开源电影级视频生成模型Wan2.2，将光影、色彩、镜头语言装进模型，支持60多参数自由组合。它是业界首个用MoE架构的视频生成模型，推理省计算资源，性能超主流模型，获国外网友盛赞。

昆仑天工发布音乐模型Mureka V8，实测打败硅谷Suno V5成世界第一。它能生成完整可发布歌曲，结合MusiCoT技术实现从“能生成”到“能发布”跨越。高晓松等认可其变革潜力，昆仑天工联合太合音乐打通产业链。

当前主流大语言模型依赖下一token预测训练，难理解跨多token完整概念。南洋理工大学提出概念感知微调（CAFT）技术，首次将多token预测引入微调，能让模型理解完整概念，多领域实验显示其可显著提升模型性能。

在生成式媒体技术发展背景下，fal.ai 作为生成式媒体 infra 公司迅速崛起。它通过统一 API 与云端平台提供多模态模型调用能力，2025 年收入增长 60 倍并完成融资。文章解析其如何构建护城河及对行业发展的判断。

Google Slides是Google版AI PPT，与传统AI PPT不同。它像传统PPT搭配AI聊天机器人，用Nano Banana模型可直接生成图片和文字，能像素级推理，打破传统PPT结构，还可自然语言交互修改，只是中文生成效果待提升。