「多模态统一建模」共找到 1461 篇相关文章
最强多模态模型也拿不到30分？DeepImageSearch定义相册搜索新范式，开启个人视觉记忆的深度搜索时代
人大窦志成教授团队联合OPPO研究院提出DeepImageSearch图像检索新范式，将其从“逐张语义匹配”推向“语料库级上下文推理”。团队构建评测基准DISBench，用ImageSeeker框架评测主流模型，结果显示最强模型单次完美解决查询比例不超三成。
32倍加速，58秒搞定720p视频！字节发布离散自回归框架，统一视觉生成和长视频生成
字节发布InfinityStar框架，将5秒720p视频生成时间从30多分钟缩至58秒，还支持多样任务。它基于对视频本质思考设计时空金字塔模型，将时空分离，通过多项技术优化，性能表现出色，不过也存在一些技术局限。
牛津VGG、港大、上交发布ELIP：超越CLIP等，多模态图片检索的增强视觉语言大模型预训练
牛津VGG、港大、上交大团队论文提出ELIP方法，用学术界资源增强视觉语言大模型预训练，用于文字 - 图片检索。该论文被大会接受并获最佳论文提名。ELIP可应用于多个大模型，实验显示能显著提升图片检索表现。
教多模态大模型学会“反思”和“复盘”，上交&上海AI Lab重磅发布MM-HELIX&AHPO，破解多模态复杂推理难题
上海交通大学和上海人工智能实验室研究团队带来MM - HELIX，这是完整生态体系，赋予AI长链反思性推理能力。其含基准测试、数据集、优化算法，搭载相关技术的模型表现优异，部分成果已开源。
让大模型多模态检索全面超越SOTA！ReCALL框架化解生成式与判别式的范式冲突｜CVPR'26
紫东太初团队联合新加坡国立大学攻克大模型检索难题，其ReCALL框架以‘诊断 - 生成 - 校准’闭环体系解决范式冲突，让大模型变身高效检索器，成果被CVPR 2026录用，刷新SOTA性能。
3D生成告别「穿模」噩梦！VASTx清华将蒙皮权重Token化，统一生成骨骼与权重，GRPO微调形变平滑
3D模型生成容易，让它“动起来”难，传统AI蒙皮算法有局限。SkinTokens研究将蒙皮权重离散化，构建TokenRig框架，引入GRPO算法，提升了AI自动绑定精度和泛化能力，助力3D动画自动生产。
Qwen3-VL-Seg 深度解读：当多模态大模型学会"像素级精准手术"，仅用0.4%参数碾压8B模型
文章深度解读阿里通义实验室发布的Qwen3-VL-Seg，它解决开放世界指代分割问题，用仅17M参数（占基础模型0.4%）在4B规模超越8B模型。介绍其原理、架构、数据、实验结果，还给出实战代码。
腾讯AngelSlim升级，首个集LLM、VLM及语音多模态为一体的投机采样训练框架，推理速度飙升1.8倍
随着大模型应用成本与延迟问题凸显，腾讯混元升级 AngelSlim 训练框架，将投机采样技术拓展至全模态场景。它以 Eagle3 架构让推理速度最高飙升 1.9 倍，还具全模态训练、面向部署等亮点，有开源代码。
用 Warpgate（5.8k star）在不装客户端的情况下，如何实现透明审计、统一堡垒与会话回放？
Warpgate 是完全透明的 SSH / HTTPS 等堡垒解决方案，无需额外客户端。能部署在 DMZ，提供会话录制等功能，以单一可执行文件发布，用 Rust 编写。文章介绍其痛点场景、功能、架构、上手步骤、应用场景等。
想入局VLA却不知从何下手？NTU&中大开源「终极菜谱」：从基座到频域建模，每一步都有实验支撑
MMLab@NTU联合中山大学的研究推出VLANeXt，从12个关键维度剖析VLA设计空间，每步有实验支撑。它在LIBERO及LIBERO - plus上超越SOTA方法，遇扰动成功率跃升10%，适合不同水平从业者。