搜索：多模态生成与理解统一

「多模态生成与理解统一」共找到 3419 篇相关文章

10K Star！这个 AGENTS.md 开源项目太赞了，AI 编程助手彻底悟了！

AI 在看 README 时理解能力差，被戏称“智商只有三岁”。AGENTS.md 是专门写给 AI 编程智能体的文档格式，已获 10K Star，可助其理解项目，还介绍了与 README.md 的区别、使用方法等。

Transformer已满8岁，其开创性论文《Attention Is All You Need》被引超18万次，掀起生成式AI革命。它催生诸多前沿产品，让人类跨入生成式AI时代，虽起初未受关注，但如今影响深远，谷歌态度也在改变。

作者用Google新发布的AntiGravity生成海报，其升级增加Nano Banana Pro能力后效果惊人。作者展示了用它生成高保真原型图、用户故事地图、用户旅程地图等案例，还提及更多应用场景及使用建议和限制。

Canvas-to-Image 是面向组合式图像创作的全新框架，将不同控制信息整合在同一画布，简化图像生成控制流程。它解决了传统生成流程中控制方式分散的问题，能在推理阶段组合多种控制信号，实验效果良好。

在AI多模态时代，‘让大模型上手机’成焦点。现有MLLM在手机端部署有难题，vivo AI研究院等团队提出GenieBlue方案，绕开MoE架构限制，在骁龙8 Elite芯片手机流畅运行，保持语言性能同时实现多模态表现。

Anthropic的Claude模型升级后，用户却觉得不好用。X上帖子指出其存在文本和代码标记、模型能力、定价、长上下文等问题，这些问题卡在生成、计算、上下文和Agent运行时的5个具体位置，导致各方面互相拖后腿。

Meta推出WorldGen，可根据文本提示生成可探索的3D世界。它融合多项技术，能生成50×50米完整纹理化场景，保持风格与几何一致。虽处于研究阶段，但成果可兼容主流游戏引擎，有降本增效潜力。

当下视觉生成中，开源模型在逻辑推理生成任务上频频翻车，与闭源模型有差距。浙大与阿里团队提出Unified Thinker，将思考与执行解耦，构建数据集、采用创新算法，实验显示其有效提升逻辑执行准确度。

谷歌旗下DeepMind发布通用型世界模型Genie 3，可通过文本提示生成动态世界并实时交互，其生成内容物理一致性达分钟级。它功能丰富，也受业内好评，但有行动空间有限等局限，对迈向AGI意义重大。

上海交通大学 DENG Lab 提出的 LatentUM，尝试让统一模型把生成的视觉内容纳入推理闭环。它在多项任务上超越基线，其核心思路是生成与语言共享语义空间的离散 visual semantic tokens，模型含三大关键设计。