搜索：图像理解与生成

「图像理解与生成」共找到 2974 篇相关文章

去掉像素中介！上海交大让AI边看边想边画，用同一个“大脑”跨模态推理

上海交大等团队提出LatentUM架构，摒弃像素解码中介，在共享语义潜空间跨模态思考。它用MBAQ技术转化视觉特征，设计MoME架构，还能自我反思、规划路线、模拟世界演变，表现出色。

香港浸会大学联合腾讯优图实验室提出 Streamo，将‘何时回答’变为模型预测的 token，通过端到端训练框架把离线视频模型转化为实时流视频助手，还构建 Streamo - Instruct - 465K 数据集，实验效果良好。

EmoStyle由深圳大学可视计算研究中心黄惠教授课题组完成。它解决图像情感风格化两大挑战，提出有效方法、构建数据集、设计模块。实验显示其平衡情感与内容，还能扩展到文生图。

Adobe Research等团队对REPA展开研究，发现驱动目标表征生成性能的是空间结构而非全局性能。基于此构建iREPA，代码不到4行，能提升REPA收敛速度，在多方面表现出色。

南京大学、腾讯优图实验室和新加坡国立大学发布DiP框架，即将开源。该框架不依赖VAE，仅增0.3%参数量，推理提效10倍，在ImageNet获1.79的FID分数，解决扩散模型在像素空间难兼顾质效的问题。

文章指出过去50年影像公司通过推动坐标点向「计算」端移动创造商业变量。如今计算突破天花板，带来理解、增强、生成现实三层价值释放，解锁新场景，AI Native影像公司机会巨大。

传统视觉 Tokenizer 存在缺乏高层语义信息、冗余度高、表征混乱等问题。香港大学 CVMI Lab 和阶跃星辰 AIGC 团队提出 VFMTok，用预训练视觉基础模型构造视觉 Tokenizer，实验显示其性能优异。

Menlo Ventures 报告显示，Anthropic 超越 OpenAI 成企业 LLM 市场新王者。代码生成成杀手级应用、强化学习成扩展路径、Agent 时代到来支撑其胜利。企业重性能，支出从训练转向推理。

在电商和数字营销领域，现有框架呈现效果不佳。字节推出DreamActor - H1框架，基于扩散变换器，集成Seaweed - 7B模型，能生成高保真人机交互视频，有效果突破但也存在局限。

Anthropic CEO Dario Amodei在摩根士丹利会议称Scaling Law未撞墙，2026年将激进加速。他用棋盘稻米寓言比喻，称当前处第40格，前39格增长只是前奏。还透露代码生成是AI能力爆发指标，Anthropic或在RSI取得进展，且重视人才文化。