「多模态指令」共找到 1159 篇相关文章
4.5k星星爆火！用图片压缩Fable 5上下文，成本大幅降低，终于用得起这个模型了
Fable 5在AI圈爆火，但使用成本比其他型号贵至少5倍。pxpipe项目把适合压缩的大段文本渲染成PNG图片，交给多模态模型读取，能大幅降低成本，还能增加上下文长度。
阿里刚刚开源了一款影视级配音项目，口型同步、音色转换都不是事！
阿里通义实验室语音团队联合中科大发布多模态电影配音模型Fun - CineForge，开源模型并构建中文电视剧配音数据集。它能处理多种场景，有视频理解等亮点，还给出制作数据集步骤。
实测Gemini图片转视频新功能，终于蹲到经典梗图后续了（doge）
Gemini接入带声音的图片转视频功能，作者实测该功能。用开盒指令测试，生成速度较快；还尝试给梗图加后续，发现生成精确内容需详细提示词，且不能生成具体真人形象内容。
首次！世界模型、动作模型融合，全自回归模型WorldVLA来了
阿里巴巴达摩院提出全自回归模型 WorldVLA，首次融合世界模型与动作模型，统一文本、图片、动作理解和生成。它用独立编码器处理多模态数据，还提出策略解决误差累积问题，实验表现优异。
太魔幻了！刚刚OpenAI发布GPT Image 1.5：Nano Banana Pro 王座不保
OpenAI发布由GPT Image 1.5驱动的新版ChatGPT Images。新模型核心升级体现在精准修图、指令遵循能力强、生成速度提升4倍。还推出Images主页，API上线且价格降20%，适合企业。
上海AI实验室发布 Intern Lumina U2：全离散扩散建模，让模型既能“看懂”也能“生成”
上海人工智能实验室发布新一代多模态统一模型 Intern Lumina U2，基于全离散扩散建模路线，支持多任务，适配两大硬件生态，在昇腾千卡级集群训练效率提升 1.85 倍，性能优异且将开放资源。
DeepSeek视觉原语论文：当所有人在堆图像分辨率时，它在堆「指代精度」！
4月30日DeepSeek发布多模态论文，核心是“视觉原语”，让模型边推理边输出坐标。它是七大coding agent玩家中最后接入视觉的，但补课方式反共识，不堆分辨率堆指代精度，效率高，拓扑推理成绩领先。
面向长时语音与声音克隆的全模态开源万能聊天机器人MGM-Omni
文章介绍了全模态开源聊天机器人MGM - Omni，它基于MiniGemini，支持多模态输入输出，具备长语音理解、生成、流式生成、零样本语音克隆等特性，还给出安装、使用方法，展示评估结果。
别再“演智能”了，MiniMax Agent 才是真特工
2024 年有不少‘伪 Agent’项目，2025 年 AI Agent 开始在解决真实问题上落地。MiniMax Agent 在深度研究、网页生成、PPT 生成及多模态输入输出上超越竞品，其优势源于多方面，已从众多 Agent 产品中脱颖而出。
CUTLASS CuTe GEMM细节分析（一）——ldmatrix的选择
作者作为CUTLASS CuTe初学者，记录问题分析过程。本文聚焦如何基于TiledMMA及输入矩阵在Shared Memory上的Layout选合适Copy Operation完成拷贝，结合实例讲解ldmatrix指令选择，还给出参考代码。