「视觉-语言-动作模型」共找到 1811 篇相关文章
The Batch: 931 | 统一视觉媒体的单一分词器
Apple团队开发多维分词器AToken，可将图像、视频、3D对象映射到共享token空间，统一处理视觉媒体。它由预训练编码器和解码器组成，经多阶段训练，在多任务上达或接近先进水平，为视觉模型带来通用性。
直播预约 | 迈向用于演绎推理的诚实语言模型
本次讲座聚焦迈向用于演绎推理的诚实语言模型。当前语言模型难诚实推理，输入不足会产生无根据答案。为此制定多步骤任务，提出强化学习方法ACNCHOR，稳定学习过程、提高推理性能。
Google封神，计算机视觉的GPT3时刻来了！
Google Deepmind称在CV领域做出类似GPT-3的成果，Veo 3经大规模训练涌现通用视觉理解和推理能力，能以图片+提示词完成复杂视觉任务，还具备感知、建模等四大超能力。
精准复刻！字节推出X-UniMotion实现高精度动作模仿合成
字节推出的X-UniMotion代表角色动画技术突破，提供统一运动控制系统，融合先进算法与操作界面，构建强大技术架构，能生成自然流畅角色动作，还介绍了其技术原理、演示对比等内容。
刚刚，DeepSeek多模态技术范式公布，以视觉原语思考
DeepSeek发布多模态模型并公布技术报告，提出‘以视觉原语思考’。该模型解决多模态大模型‘指代鸿沟’问题，有把坐标变思维单元、7056倍视觉压缩、精心设计冷启动数据等创新，实验在多任务上超主流模型。
巧妙！一个传统技术让国产视觉基础模型直接上大分
格灵深瞳的Glint - MVT视觉基础模型表现出色，线性探测准确率高于CLIP等，下游任务效果佳。其引入间隔Softmax损失函数，结合虚拟类别构造等优化方案提升性能，团队专注视觉研发，务实开放。
Being-VL的视觉BPE路线：把「看」和「说」真正统一起来
北大、UC San Diego 和 BeingBeyond 联合提出 Being-VL 的视觉 BPE 路线，先将图像离散化并「分词」，再与文本统一建模，能缩短跨模态链路、保留视觉结构先验，还介绍了实现步骤、训练方式等。
打破视觉Token的算力诅咒，RedundancyLens如何为多模态大模型推理减负
多模态大模型的 Decoder - only 架构处理视觉 Token 有计算冗余。合合信息团队提出无需额外训练的动态计算削减方法，在不影响性能前提下降低推理成本，适用于多场景。
视觉Token注入CLIP语义，走向多模态理解与生成新范式
腾讯ARC Lab等机构提出全新视觉分词器TokLIP，将低级视觉Token与高级CLIP语义结合，支持端到端自回归训练，可接入LLM框架，降低计算与数据门槛，在多模态任务中表现优异，代码已开源。
Monet：赋予多模态大模型如人类一般的抽象视觉思考能力
文章介绍了Monet模型，它实现了训练MLLM直接在连续隐空间思考的方法，内化视觉思考能力。还阐述了多模态模型隐式推理训练的难点，提出SFT+RL训练框架，构建数据集，经测试，Monet提升了视觉推理能力。