「预训练视觉表征」共找到 2642 篇相关文章
Diffusion约2倍无损加速！训练-推理协同的缓存学习框架来了｜ HKUST&北航&商汤
HKUST、北航与商汤提出HarmoniCa框架，解决Diffusion模型推理慢、成本高问题。它通过SDT和IEPO机制，解决训练 - 推理脱节，在多模型上实现推理提速、质量提升，且训练推理开销低，已开源。
「CV 铁三角」落定Meta，视觉 AI 如何向多模态演进？
Meta 高薪挖来「CV 铁三角」引关注，其研究成果与视觉 AI 向多模态演进路径高度贴合。他们过往十年协作，研究涵盖 S4L、BiT、ViT 等，构建起现代多模态 AI 基础框架。
无预训练模型拿下ARC-AGI榜三！Mamba作者用压缩原理挑战Scaling Law
CompressARC研究中，Mamba作者Albert Gu团队给出不同于大规模预训练的智能配方——最小描述长度（MDL）。一个76K参数、无预训练模型，在ARC - AGI - 1基准解决20%问题，获ARC Prize 2025第三名。
新范式来了！新能量模型打破Transformer++扩展上限，训练扩展率快35%
研究训练新能量模型 EBT，为输入和预测分配能量值，模拟思考过程。它有跨模态、跨任务通用性，训练扩展率比 Transformer++ 高 35%，推理性能提升 29%，还在多任务中表现出色，是扩展模型能力新范式。
AI 基础知识从 0.6 到 0.7—— 彻底拆解深度神经网络训练的五大核心步骤
文章以 PyTorch 手写数字识别代码为引，深入剖析深度神经网络训练的五大核心步骤，涵盖前向传播、计算损失、反向传播、更新参数和循环训练，还介绍激活函数、Dropout 等概念及正则化、优化器等技术。
第二代AI预训练范式：预测下个物理状态
英伟达科学家Jim Fan发布文章《第二代预训练范式》指出，当前以LLM为代表的AI模型基于「对下一词的预测」，在物理世界应用中「水土不服」，第二代范式应是「预测下一个物理状态」，引发机器学习社区讨论。
OpenAI新模型，被曝秘密训练中！万字硬核长文直指o4核心秘密
SemiAnalysis爆料，OpenAI正训练规模介于GPT - 4.1和GPT - 4.5间的新模型，下一代推理模型o4基于GPT - 4.1训练。强化学习成推理模型进步功臣，但面临基础设施瓶颈，奖励函数难定等问题。
Agentic RL 后训练资源怎么分？港中文、恒生大学提出 Libra，吞吐最高提升 3 倍
大语言模型走向“完成任务”，Agentic RL 后训练让系统工作负载不稳定。港中文和恒生大学团队提出 Libra 资源管理系统，统一优化训练与 rollout，在多任务中提升吞吐，论文与代码已公开。
两个LLM互相对线，推理能力起飞：康奈尔团队发布大模型版类GAN训练法
康奈尔大学团队提出面向大语言模型的类GAN训练框架PasoDoble，通过对抗训练两模型提升推理能力，不依赖外部监督，在多模型实验中显著提升数学基准表现，不过在部分领域外任务有局限。
CVPR 2026 | 从视觉Token内在变化量出发，实现VLM无损加速1.87倍
随着高分辨率图像与长视频处理需求增长，大型视觉语言模型推理效率成瓶颈。V²Drop从视觉Token内在变化量出发，采用多阶段渐进式剪枝策略，实现无损加速，在图像和视频理解场景表现卓越。