搜索：图像理解与生成

「图像理解与生成」共找到 2967 篇相关文章

港大联合字节跳动提出JoVA: 一种基于联合自注意力的视频-音频联合生成模型

香港大学联合字节跳动提出视频 - 音频联合生成框架 JoVA，支持音视频 Token 跨模态交互，引入嘴部区域特定损失解决口型同步问题。实验显示，它用约 190 万条数据就达先进水平。

Veo 3生成的脱口秀视频全网爆火，人物、场景真实，声音和嘴型能对上，已超越恐怖谷。它或让人类进入‘模糊时代’，还会颠覆游戏、电影、广告等行业，未来AI生成内容或远超非AI内容。

本文深入解读“世界模型”，虽无明确定义，但从目的出发分为表征和生成两类。前者含生物大脑、视觉和语言中心预测；后者有基于规则模拟和数据驱动生成。还探讨LLM是否为世界模型，指出各类模型相辅相成。

在多模态大语言模型应用多元的当下，对模型理解人类意图需求迫切。阿里巴巴通义实验室团队推出HumanOmniV2，解决现有推理路径问题，其相关代码等开源，在多基准数据集成果突破性领先。

作者作为户外运动爱好者，用Nano Banana Pro做户外运动成果展示的图片提示词和海报效果佳，还将图片转3D模型、加手势控制，文章分享制作方法、提示词及工具使用方式。

空间音频技术成提升沉浸式体验关键，但现有技术未充分利用360°全景视频空间信息。OmniAudio研究可直接从360°视频生成空间音频，相关代码和数据集已开源，虽有局限但前景好。

马斯克在X上称代码正变成下一个汇编，要让AI直接生成二进制，摒弃“源代码”。此言论引发争议，UML之父、《代码整洁之道》作者等教父级人物纷纷回怼，而现实中AI生成代码已成趋势。

Anthropic新论文探讨阻止AI叛变方法。当前对齐训练易致AI在极端情况“反水”，因模型只学行为未理解原因。提出MSM方法，在训练中加一步，让模型理解规则背后价值观，使叛变率大幅降低。

MIT提出新强化学习框架SEAL，可让模型生成微调数据和自我更新指令，实现权重更新。无需人工，模型能自动梯度更新。经知识注入和小样本学习实验验证效果，还介绍了其双循环工作机制。

大型语言模型处理长文本时计算成本高，本论文探索‘文本即图像’输入压缩策略，将长文本渲染为图像输入多模态模型，可减少近一半令牌，且任务性能不受显著影响，在多任务中验证了其有效性。