搜索：视觉transformer

「视觉transformer」共找到 882 篇相关文章

刚刚，DeepSeek又探索新架构了，开源OCR 2

DeepSeek更新DeepSeek - OCR 2，引入DeepEncoder V2架构，实现视觉编码范式转变。模型和技术报告齐开源，在多项测试中表现出色，降低重复率，为全模态编码提供路径，但在报纸类文档识别有不足。

阶跃星辰团队探索自回归图像生成新路径，推出 NextStep-1。它直接在连续视觉空间自回归生成，架构简洁，实现端到端训练。模型有高保真生成和编辑能力，Benchmark 表现佳，但也面临稳定性等挑战。

南洋理工大学等团队推出NEO - ov模型，挑战传统「视觉编码器 + 大模型」范式，直接从原始像素学语言。它在多任务表现出色，尤其空间智能突出，但在OCR等方面有短板，展现原生多模态建模潜力。

OpenAI开源新研究成果，提出全新范式，训练权重稀疏的Transformer模型以提取人类可理解的电路。该方法分三步，关键结果显示稀疏模型优势多，但也存在训练成本高、规模有限等局限，还给出两条未来路线。

近期，RAE 提出以「冻结的预训练视觉表征」作潜空间提升扩散模型性能。同期西安交大与微软亚研院提出 VFM - VAE，结合 RAE 与 VAE，能加速模型收敛、提升生成质量，展示扩散模型 Tokenizer 演化方向。

蛋白质折叠是计算生物学核心难题，SimpleFold作为首个仅基于通用Transformer模块的蛋白折叠模型，摒弃AlphaFold2系列传统架构，能将蛋白序列生成三维原子结构，在多基准测试表现强劲，还可生成结构集合。

面壁上新最强端侧多模态模型MiniCPM-V 4.5，基于Qwen3 - 8B与SigLIP2 - 400M构建，总参数量8B。它视觉语言理解强、手机能跑，有高帧率视频理解等特点，还有多方面技术亮点。

谷歌花27亿美元挖来的Transformer“贡献最大”作者Noam Shazzer，因在公司内部论坛发表极具争议的言论，点燃“火药桶”。谷歌管理方删帖使争议升级，外界联想起2017年“James Damore事件”，但Noam地位重要，谷歌难以将其开除。

智谱基于GLM - 4.5打造的开源多模态视觉推理模型GLM - 4.5V，在42个公开榜单中41项夺得SOTA。其功能丰富，玩法升级，还为企业与开发者提供高性价比方案，是100B参数级SOTA标杆。

苏黎世联邦理工学院团队让机器狗靠强化学习学会打羽毛球，开发全身视觉运动控制策略，使其最高挥拍速达12米/秒，还涌现类人回位行为，研究证明足式机器人在体育场景应用可行。