「视觉预训练」共找到 2667 篇相关文章
突破具身智能任务规划边界，刷新具身大脑多榜单SOTA，中兴EmbodiedBrain模型让具身大脑学会「复杂规划」
当前主流大语言模型在具身任务场景面临瓶颈，中兴星云大脑团队推出具身视觉 - 语言基础模型 EmbodiedBrain，构建全流程创新框架，在架构、数据训练、评估体系等方面有突破，还将开源成果推动生态发展。
AI看图一本正经胡说八道？「一拉一推」让模型看得全又准｜微软x清华
随着视觉 - 语言模型（VLM）推理能力增强，‘看错’问题凸显。现有方法有局限，微软亚洲研究院与清华提出BiPS，从训练阶段重塑模型‘看图方式’，通过‘一拉一推’机制让模型‘看全又准’，实验效果显著。
社区供稿 | 阿里国际Ovis2.5重磅发布：以小博大，刷新开源模型性能新高度
阿里国际发布多模态大模型Ovis2.5，在OpenCompass综合得分提升，保持SOTA水平。它在原生分辨率视觉感知等三方面突破，有9B和2B两版本，代码、模型等资源已开源，技术原理涉及架构、训练与数据。
边画边想！多模态Reasoning迎来巨大提升！
论文指出文本无法精准表达空间关系，现有视觉语言模型（LVLM）在空间推理上是短板。ViLaSR让模型直接画图推理，经三阶段训练，在五大空间推理测试中表现出色，还开源资源，有望带来机器认知升维。
美团开源全模态，比肩顶级闭源模型，开源新SOTA
美团LongCat团队发布5600亿参数开源全模态模型LongCat - Flash - Omni，它有端到端全模态架构，能实现毫秒级实时音频 - 视觉交互。该模型训练采用渐进式策略，工程上有高效技术支撑，在多基准测试表现出色。
AGI新技术路线：下一代稀疏注意力机制Monte Carlo Attention开源
超对称技术公司开源了 Monte Carlo 注意力机制，用于新版基座模型 BigBang - Proton。它在二进制块编码技术上，用块间代表交流机制实现线性复杂度，解决了传统方法的缺点，可实现理论上无限的上下文长度，对现有预训练技术和硬件设计影响深远。
视频理解新标杆，快手多模态推理模型开源：128k上下文+0.1秒级视频定位+跨模态推理
快手开源能看懂视频并跨模态推理的大模型Keye-VL 1.5，其有时序定位、描述和推理能力，跑分领先。采用三段式架构和Slow-Fast编码策略，经四阶段预训练和多阶段后处理，团队成果多，推动多模态技术落地。
MiniMax 技术闭门会分享：长上下文是 Agent 的 Game Changer
MiniMax 7月10日举办M1技术研讨会，探讨模型架构创新等领域。会议围绕RL能否赋予模型新能力、预训练价值等展开，指出长上下文是Agent的Game changer，混合架构将成主流，还分享了混合架构推理实践及M1相关问答。
世界模型迎来因果升级：CD-LAM仅用几千步微调即可显著增强动作控制
Aether AI与加州大学圣地亚哥分校研究发现现有世界模型会无视动作控制信号，根源是隐动作模型受视觉混杂因素污染。团队提出CD - LAM，从上游净化隐动作表征，实验显示其能降动作误差、提画面质量，降低后训练开销。
10万引普林斯顿刘壮最新访谈：架构没那么重要，数据才是王道
普林斯顿大学助理教授刘壮在访谈中指出，架构没那么重要，数据、规模和记忆才是决定AI成败的关键。他认为ConvNet和Transformer性能差异源于训练细节；当前数据集远不够多样；大语言模型有语言空间的世界模型，但视觉空间的还缺失；记忆是瓶颈，智能体只是权宜之计；AI目前还替代不了研究生。