搜索：多模态理解与生成

「多模态理解与生成」共找到 3413 篇相关文章

图灵奖得主杨立昆：中国人并不需要我们，他们自己就能想出非常好的点子

本文是对图灵奖得主杨立昆的访谈，他批判当前大语言模型局限性，指出难以靠扩大规模达人类水平AI。还强调理解世界需非生成式架构，如JEPA。同时以DeepSeek为例，称开源发展更快，中国人能想出好点子。

高考报志愿难题一直存在，天价咨询服务并非人人能享。夸克推出国内首个高考志愿大模型，免费生成志愿报告。它能理解复杂规则、把握考生需求，经多阶段训练优化，还搭载高考知识库，产品体验简便。

南洋理工大学 S-Lab 和商汤科技团队推出开源版 MetaQuery——OpenUni，仅 1.1B 参数就达 8B 模型性能。它架构极简、参数高效且完全开源，还采用两阶段训练策略，虽有局限但为多模态模型研究助力。

多模态大模型处理结构化图像有误差放大、推理难等问题。微软亚洲研究院等提出PixelCraft，以高保真图像处理与非线性多智能体推理为支柱，提升结构化图像理解性能，在多基准上有增益。

谷歌深夜上线Nano Banana 2 Lite和Gemini Omni Flash。前者是最快最便宜文生图模型，4秒生图且成本低；后者是视频生成模型，支持多模态输入和对话式编辑。二者串联打通创作流水线，还集成SynthID水印技术。

谷歌Nano Banana Pro出世引发全网关注，它又名Gemini 3 Pro Image，整合多模态理解能力与知识库。普通用户可在Gemini应用免费体验，实测显示其实力强悍，还在网友手中玩出花，谷歌CEO也站台。

文章指出早期人与人靠体力拉开差距，工业革命后比拼脑力，AI 时代脑力被大模型拿走，人将比较心力。面对 AI 生成的海量文本，可视化或为解决脑力理解带宽瓶颈的解药，还给出了相关 Prompt。

随着文本领域思维链推理机制成功应用，研究者将其引入视觉理解任务。现有模型有局限，本文提出UV - CoT新框架，设计无监督数据生成与偏好优化机制，提升模型能力，摆脱对人工标注依赖。

智谱继GLM4.5后又开源GLM - 4.5V，它是同级别开源SOTA视觉推理模型，在多模态理解榜单表现优异。文章实测其在科研全生命周期的应用，还介绍了模型架构设计和训练策略。

文章从工程师视角剖析现代搜索，指出传统搜索难适应多模态内容世界。快手推出 UniDex 和 UniSearch，前者变革搜索倒排，后者为统一生成式搜索架构，二者成快手新一代工业搜索‘双引擎’，有广阔应用前景。