「视觉transformer」共找到 870 篇相关文章
RSS 2025｜物理驱动的世界模型PIN-WM：直接从视觉观测估计物理属性，可用于操作策略学习
国防科大、深圳大学、武汉大学团队提出物理驱动的世界模型PIN - WM，能从视觉观测辨识刚体物理属性。还提出PADC提升迁移性能，经实验验证其在非抓握式操作技能Sim2Real迁移中表现出色。
牛津VGG、港大、上交发布ELIP：超越CLIP等，多模态图片检索的增强视觉语言大模型预训练
牛津VGG、港大、上交大团队论文提出ELIP方法，用学术界资源增强视觉语言大模型预训练，用于文字 - 图片检索。该论文被大会接受并获最佳论文提名。ELIP可应用于多个大模型，实验显示能显著提升图片检索表现。
英伟达DLSS 4.5来了：Transformer再进化消除鬼影，“拼好帧”最高提至6倍还能动态调节
CES 2026英伟达在中国媒体见面会介绍了DLSS 4.5，它采用“双核心”策略，画质核心用第二代Transformer模型解决鬼影和闪烁，性能核心支持6倍插帧并能动态调节，还推出G - SYNC Pulsar降低动态模糊。
SIGIR 2025 | 视频检索新范式！北邮、北大等联合提出AV-NAS：首个音视频哈希搜索架构，让Mamba与Transformer自动“组队”
北邮、北大等团队提出 AV-NAS，在多模态视频哈希领域引入 NAS，构建含 Transformer 与 Mamba 的统一搜索空间。该方法能自动发现最优跨模态融合机制，揭示音频时序建模中“CNN + FFN”结构更优，代码已开源。
互联网免费数据已被吃光，普通人反馈早没用了？前英伟达工程师：Transformer的原罪浪费算力，聊天机器人把GPU全糟蹋了
前英伟达工程师、Sail Research 创始人 Neil Movva 认为当前 AI 行业陷“延迟陷阱”，AI 终局应是后台 Agent。他执行“算力拾荒者战略”，想降低智能成本，还指出 Transformer 架构有缺陷，互联网数据被吃光等问题。
【DeepSeek-OCR系列第一篇】Language Modelling with Pixels【ICLR23】
当前主流语言模型依赖固定词表，扩展到多语言、多脚本时面临覆盖受限、计算昂贵、鲁棒性差等问题。ICLR 2023论文提出不依赖词表的PIXEL模型，通过将文本变成图像用视觉Transformer理解，实验验证其有跨语言、抗噪声等优势。
DeepSeek又拿第一！首创「因果流」视觉推理，超越Gemini
DeepSeek开源DeepSeek - OCR2，引入DeepEncoder V2视觉编码器，打破传统模型扫描限制，模仿人类视觉「因果流」逻辑。它解决了传统VLM忽略图像语义结构问题，在多项测试中表现出色，还验证了「LLM作为视觉编码器」可行性。
刘壮陈丹琦新作：开源通用视觉推理RL框架，0思考数据刷新SOTA
普林斯顿刘壮团队、陈丹琦参与推出开源通用视觉推理RL框架Vero。它构建的视觉推理器在30多项测试达8B视觉语言模型SOTA，解决了开源RL方案的问题，所有数据、代码、模型均已开源。
OpenVision 2：大道至简的生成式预训练视觉编码器
多模态大模型浪潮中，视觉模块是关键。此前OpenVision训练管线复杂，成本高。研究者提出OpenVision 2，移除文本编码器与对比学习，引入随机丢弃视觉token技巧，性能佳且效率高，挑战了对比学习范式。
3D-R1重塑三维视觉语言推理！让三维交互更智能
近年来，视觉 - 语言模型在2D图像理解有突破，但3D视觉语言模型面对复杂场景不足。为此上海大学团队提出3D - R1模型，它基于新数据集和策略构建，有强多任务三维理解能力，不过也存在进步空间。