搜索：预训练视觉表征

「预训练视觉表征」共找到 2642 篇相关文章

V-RAE：把「看懂视频」的能力带入生成，重新思考视频模型的潜空间

近日，新加坡国立大学 Minghui Guo 与牛津大学 Shengqiong Wu、Hao Fei 在论文中提出视频表征自编码器 V-RAE。它以冻结的视觉基础模型为编码器压缩视频特征，还引入轻量级模块聚合信息。经实验验证，其在视频生成和预测上性能出色。

随着视觉 - 语言模型（VLM）推理能力增强，‘看错’问题凸显。现有方法有局限，微软亚洲研究院与清华提出BiPS，从训练阶段重塑模型‘看图方式’，通过‘一拉一推’机制让模型‘看全又准’，实验效果显著。

阿里国际发布多模态大模型Ovis2.5，在OpenCompass综合得分提升，保持SOTA水平。它在原生分辨率视觉感知等三方面突破，有9B和2B两版本，代码、模型等资源已开源，技术原理涉及架构、训练与数据。

论文指出文本无法精准表达空间关系，现有视觉语言模型（LVLM）在空间推理上是短板。ViLaSR让模型直接画图推理，经三阶段训练，在五大空间推理测试中表现出色，还开源资源，有望带来机器认知升维。

美团LongCat团队发布5600亿参数开源全模态模型LongCat - Flash - Omni，它有端到端全模态架构，能实现毫秒级实时音频 - 视觉交互。该模型训练采用渐进式策略，工程上有高效技术支撑，在多基准测试表现出色。

上月，GPT - 4o图像生成功能爆火。Sander Dielman在博客中探讨生成模型利用潜在空间提高效率和质量，将潜在变量比作「数据精髓」，深入对比多种模型，还介绍训练方法、损失函数等，兼具理论深度与直观洞察。

普林斯顿大学助理教授刘壮在访谈中指出，架构没那么重要，数据、规模和记忆才是决定AI成败的关键。他认为ConvNet和Transformer性能差异源于训练细节；当前数据集远不够多样；大语言模型有语言空间的世界模型，但视觉空间的还缺失；记忆是瓶颈，智能体只是权宜之计；AI目前还替代不了研究生。

本文介绍了 Jina AI 开源的代码向量模型 `jina-code-embeddings`，含 0.5B 和 1.5B 规模，有 GGUF 量化版本。它性能顶尖，支持多任务与 15 种语言，还介绍了训练方案、使用方法等。

通义实验室推出 WebDancer，解决自主信息检索智能体构建难题。它创新合成训练数据，采用两阶段训练策略应对开放网络训练挑战，在多个基准测试中表现卓越，未来还将拓展能力。

字节Seed与清华AIR团队开源CUDA Agent，在GPU内核优化基准KernelBench上成绩优异。它是大规模智能体强化学习系统，训练数据经多阶段构建，分阶段训练，全面超越商业模型，还开源了训练数据集。