搜索：多模态指令 - AI Reading Hub

「多模态指令」共找到 1158 篇相关文章

神秘「牛来」模型果然是智谱！GLM首个原生多模态，还用的国产卡

神秘模型「牛来」真身曝光，是智谱刚开源的 GLM - 5.3 Flash，为 5 系列首个原生多模态模型。它尺寸小能力强、价格低，用国产卡，实测多模态和 Coding 能力出色，架构全新，开源后将模型、算力和生态结合。

近年来多模态大模型多采用自回归架构，推理缺乏灵活性。香港大学和华为诺亚方舟实验室研究团队提出FUDOKI，基于全新非掩码离散流匹配架构，能并行去噪、动态修正，为多模态模型开辟新路径。

现有扩散模型缺乏多模态推理创作能力，在算力和数据不充裕时实现该功能是难题。ICML2025上，港科联合SnapResearch提出ThinkDiff，以较少资源让扩散模型有思考能力，开辟多模态理解生成新路径。

OpenAI前CTO Mira Murati创立的Thinking Machines Lab获20亿美元融资，估值达120亿美元。未来几个月将发布首个多模态AI产品，还会开源部分组件，团队全力构建多模态AI以增强人类能力。

多模态大语言模型（如GPT - 4V）虽有强大图文理解能力，但受数据稀缺、复杂任务表现不佳和评估标准不统一限制。论文提出为MLLM集成外部工具，构建全景图，覆盖多维度，还指出挑战与对策。

当下AI编程工具竞争激烈，大多存在闭源或绑定单一模型的问题。OpenDev是开源的终端AI编程Agent，用Rust编写，仅3.7MB。其论文详细解释设计决策，给出指令衰减问题的工程解法，还有多种实用设计。

InfoQ《极客有约》X AICon 直播栏目，邀上海交大赵波、快手高欢、腾讯邵帅探讨多模态大模型。谈及技术挑战、开源闭源、行业落地等，还分享精彩观点，如先大后小蒸馏提效，垂直模型现阶段更优。

智源研究院悟界·RoboBrain Orca团队发布技术报告，探索让模型学习世界表征，从‘预测下一个词’走向‘预测下一状态’。它通过多模态数据学习，经实验验证有效，虽处早期阶段，但提出值得扩展的方向。

华东师大&字节跳动系统回顾基于强化学习的MLLMs推理进展，涵盖关键算法设计、奖励机制创新及实际应用，探讨了RL在LLMs/MLLMs中的关键设计与优化策略，还涉及多模态大模型推理多方面内容。

未来迈向AGI需多模态AI系统。南大等联合发表综述，涵盖754篇文献。分析传统路线痛点，介绍统一多模态模型定义、技术路线、训练方法等，还提及应用场景及未来方向。