「视觉分词器」共找到 874 篇相关文章
MiniMax海螺视频团队首次开源:Tokenizer也具备明确的Scaling Law
MiniMax海螺视频团队首次开源,揭晓视觉分词器难题答案。其推出的VTP框架可提升模型性能,解决传统Tokenizer缺陷,还展示了Tokenizer的Scaling Law,为行业提供新路径。
ICLR 2026 | 这道题是否需要用图思考?模型来告诉你!自适应思考模式切换助力通用视觉推理提升
本文来自复旦大学和阿里巴巴未来生活实验室,已中稿 ICLR 2026。目前视觉推理方法有纯文本和用图思考两种模式,各有优劣。研究者提出 Mixture-of-Visual-Thoughts 范式及 AdaVaR 框架、AdaGRPO 算法,让模型自适应选模式,实验显示其在多任务有提升。
RSS 2025|物理驱动的世界模型PIN-WM:直接从视觉观测估计物理属性,可用于操作策略学习
国防科大、深圳大学、武汉大学团队提出物理驱动的世界模型PIN - WM,能从视觉观测辨识刚体物理属性。还提出PADC提升迁移性能,经实验验证其在非抓握式操作技能Sim2Real迁移中表现出色。
牛津VGG、港大、上交发布ELIP:超越CLIP等,多模态图片检索的增强视觉语言大模型预训练
牛津VGG、港大、上交大团队论文提出ELIP方法,用学术界资源增强视觉语言大模型预训练,用于文字 - 图片检索。该论文被大会接受并获最佳论文提名。ELIP可应用于多个大模型,实验显示能显著提升图片检索表现。
全新预训练数据筛选方案,让数据效率提升10倍!配置仅需fastText评分器|港科大vivo出品
香港科技大学和vivo AI Lab提出轻量级高效数据选择方法PreSelect,已被ICML 2025接收。它只需训练部署基于fastText的评分器,减少10倍计算需求,在多数据集实验中效果显著优于其他方法。
Apple发布新SOTA Manzano:混合Tokenizer破解多模态统一难题,理解与生成双翼齐飞
多模态AI前景广,但现有模型在理解和生成任务上存在性能冲突。苹果提出Manzano模型,用混合视觉标记器降低任务冲突,结构简单可扩展,在多基准测试达SoTA水平,还展示图像编辑潜力。
图解GPT-OSS:架构、消息格式与推理机制等
OpenAI发布首个开源大模型GPT-OSS,虽性能无惊喜,但设计思路有意思。其架构是经典延续,消息格式有巧思,支持三档推理模式,分词器有小进步,这些设计在实际应用和理论上有一定价值。
超越GPT-4o和Gemini 2.5!小米MiMo-Audio音频大模型真香
小米推出MiMo - Audio大模型,预训练数据超1亿小时。它在多个基准测试成开源7B模型SOTA,开放相关资源。分词器表现佳,有全新架构,在音频理解、对话、推理等方面表现出色,还集成TTS功能。
DeepSeek又拿第一!首创「因果流」视觉推理,超越Gemini
DeepSeek开源DeepSeek - OCR2,引入DeepEncoder V2视觉编码器,打破传统模型扫描限制,模仿人类视觉「因果流」逻辑。它解决了传统VLM忽略图像语义结构问题,在多项测试中表现出色,还验证了「LLM作为视觉编码器」可行性。
OpenVision 2:大道至简的生成式预训练视觉编码器
多模态大模型浪潮中,视觉模块是关键。此前OpenVision训练管线复杂,成本高。研究者提出OpenVision 2,移除文本编码器与对比学习,引入随机丢弃视觉token技巧,性能佳且效率高,挑战了对比学习范式。