搜索：视觉语言预训练

「视觉语言预训练」共找到 3299 篇相关文章

【DeepSeek-OCR系列第一篇】Language Modelling with Pixels【ICLR23】

当前主流语言模型依赖固定词表，扩展到多语言、多脚本时面临覆盖受限、计算昂贵、鲁棒性差等问题。ICLR 2023论文提出不依赖词表的PIXEL模型，通过将文本变成图像用视觉Transformer理解，实验验证其有跨语言、抗噪声等优势。

大模型价值主战场向后训练转移，Grok 4凭后训练成“宇宙最强”。产业应用中通用模型适配难，后训练方法也在进化，如采用SFT+RL等，还介绍了夸克和阿里云的后训练实践。

何恺明团队推出全新连续扩散语言模型ELF，不走GPT自回归老路。它将生成过程留在连续embedding空间，最后离散化变回token。ELF用较少参数、训练token和采样步数，跑赢主流扩散语言模型。

多模态大模型研发中，行业认为无图文对就无多模态能力。但ReVision研究表明，预训练阶段昂贵配对关系非必需，利用非配对数据统计信息修正文本表征，能实现跨模态互换，降低成本。

多模态奖励模型对提升多模态大语言模型表现至关重要，但强化学习在奖励建模应用有挑战。快手等团队提出R1 - Reward，解决训练不稳定等问题，在基准上超SOTA模型，还在快手业务场景成功应用。

华为揭秘准万亿MoE昇腾训练系统全流程，通过“昇腾+Pangu Ultra MoE”实现国产算力与模型自主可控训练闭环，从集群利用率、单节点算力、后训练技术三方面突破，实现大模型高效训练。

豆包大模型团队与北京交通大学联合提出视觉世界模型 “VideoWorld 2”，无需依赖语言模型，仅靠视觉信息让机器掌握复杂能力。它能完成复杂手工任务，成功率远超主流模型，代码与模型已开源。

蚂蚁正式发布拥有万亿参数的通用语言模型Ling-1T，超越多个开源和闭源模型，在多项复杂推理基准中取得SOTA表现。它推理和代码能力强，研发采用‘中训练+后训练’，还提出新奖励机制和LPO方法。

当前主流图像生成技术训练范式依赖VAE，带来训练复杂、微调成本高的问题。阿里高德提出EPG，结合自监督预训练与端到端微调，去除对VAE依赖，在训练效率和生成效果上有突破。