搜索：视觉transformer

「视觉transformer」共找到 882 篇相关文章

给视频模型建一座「全能训练场」：300项任务、可验证奖励，VBVR-Pro系统探索视觉推理

针对原生视觉推理缺少完整训练评估基础设施的现状，NTU等多校联合推出VBVR-Pro系统，构建了从任务构建、模型训练、能力评测到强化学习优化的完整闭环，论文、数据、代码均已公开。

在自动驾驶等领域，长序列3D重建落地难，存在精度退化等问题。即将到来的CVPR 2026中，LongStream模型开源，它重新设计，解决了长序列难题，在多基准测试表现强，推动3D视觉走向在线建模。

本文来自复旦大学和阿里巴巴未来生活实验室，已中稿 ICLR 2026。目前视觉推理方法有纯文本和用图思考两种模式，各有优劣。研究者提出 Mixture-of-Visual-Thoughts 范式及 AdaVaR 框架、AdaGRPO 算法，让模型自适应选模式，实验显示其在多任务有提升。

国防科大、深圳大学、武汉大学团队提出物理驱动的世界模型PIN - WM，能从视觉观测辨识刚体物理属性。还提出PADC提升迁移性能，经实验验证其在非抓握式操作技能Sim2Real迁移中表现出色。

牛津VGG、港大、上交大团队论文提出ELIP方法，用学术界资源增强视觉语言大模型预训练，用于文字 - 图片检索。该论文被大会接受并获最佳论文提名。ELIP可应用于多个大模型，实验显示能显著提升图片检索表现。

CES 2026英伟达在中国媒体见面会介绍了DLSS 4.5，它采用“双核心”策略，画质核心用第二代Transformer模型解决鬼影和闪烁，性能核心支持6倍插帧并能动态调节，还推出G - SYNC Pulsar降低动态模糊。

北邮、北大等团队提出 AV-NAS，在多模态视频哈希领域引入 NAS，构建含 Transformer 与 Mamba 的统一搜索空间。该方法能自动发现最优跨模态融合机制，揭示音频时序建模中“CNN + FFN”结构更优，代码已开源。

前英伟达工程师、Sail Research 创始人 Neil Movva 认为当前 AI 行业陷“延迟陷阱”，AI 终局应是后台 Agent。他执行“算力拾荒者战略”，想降低智能成本，还指出 Transformer 架构有缺陷，互联网数据被吃光等问题。

当前主流语言模型依赖固定词表，扩展到多语言、多脚本时面临覆盖受限、计算昂贵、鲁棒性差等问题。ICLR 2023论文提出不依赖词表的PIXEL模型，通过将文本变成图像用视觉Transformer理解，实验验证其有跨语言、抗噪声等优势。

DeepSeek开源DeepSeek - OCR2，引入DeepEncoder V2视觉编码器，打破传统模型扫描限制，模仿人类视觉「因果流」逻辑。它解决了传统VLM忽略图像语义结构问题，在多项测试中表现出色，还验证了「LLM作为视觉编码器」可行性。