「冻结编码器」共找到 80 篇相关文章
解决算力瓶颈，给多模态瘦身！Token压缩完整图谱与选型指南
给多模态大模型瘦身是解决算力瓶颈的关键。Token压缩技术可剔除视觉冗余，提升训练与推理效率。北大等团队剖析其全貌，给出完整图谱与选型指南，还揭示了未来演进路径。
三维空间太难懂？RoboTracer让机器人理解复杂空间指令，推理3D空间轨迹，开放世界也能精确行动
家庭环境复杂，让机器人理解空间指令难，现有VLM多聚焦2D推理。北航、北大等联合推出多模态大模型RoboTracer，能精准生成3D轨迹，在多项评测中领先，还能直接集成到机器人，完成复杂任务。
智源新出OmniGen2开源神器，一键解锁AI绘图「哆啦 A 梦」任意门
2024年9月智源研究院发布统一图像生成模型OmniGen，获社区好评。近期OmniGen升级为OmniGen2，增强多方面能力且全面开源。它采用新架构与策略，有反思机制，玩法丰富，还推出新基准优化部署。
85倍速度碾压：苹果开源FastVLM，能在iphone直接运行的视觉语言模型
苹果开源能在 iPhone 上运行的视觉语言模型 FastVLM，代码仓库含 iOS/macOS 演示应用。它速度快，首个 token 输出速度较同类模型提升 85 倍，还兼容主流 LLM，适合边缘设备等场景。
视听分离SOTA提速6倍！清华发布首个6M高性能模型｜ICLR'26
清华大学团队推出Dolphin模型，仅用6M参数，通过离散化视觉编码和热扩散注意力机制，实现单次推理精准分离语音，速度提升6倍以上，在多项基准测试中刷新纪录，为端侧设备部署开辟新路。
DeepSeek-OCR降本增效，10×暴力压缩还能读得清
Deepseek - OCR模型发布，通过光学压缩技术解决长文本处理的计算效率问题，能控制大模型token消耗成本。介绍了其架构设计、数据引擎及训练流程，还展示其用较少token超越现有模型的能力。
LLM 长文本处理的“不可能三角”？我们用 E2LLM 把它破解了！
长文本理解与推理是LLM的难题，存在效果、速度、兼容性的“不可能三角”。蚂蚁集团和华东师范大学提出E2LLM新范式，实现三者平衡，在效果和效率上表现出色，开启长文本处理新篇章。
别再乱调图像塔了！浙大 IJCAI 论文揭露 VLM 非对称性真相，给 CLIP 微调「踩刹车」
浙大陈静远教授课题组等提出自适应非对称适配器，放弃对图像分支硬性微调，引入预测置信度自动给视觉塔‘踩刹车’。经实验总结出微调三大核心洞察，在多个数据集测试中表现优异。
GPT之父把AI扔回1930年：没见过一行代码，却「发明」了Python！
GPT之父Alec Radford带队发布总参数130亿的大模型「talkie」，其训练数据冻结在1930年，没学过编程却能写Python代码，证明LLM可用旧知识推理。团队后续还有升级计划。
无VAE扩散模型！ 清华&可灵团队「撞车」谢赛宁团队「RAE」
清华大学智能视觉团队和快手可灵团队联合推出《Latent Diffusion Model without Variational Autoencoder》，提出 SVG 框架，用预训练视觉特征编码器替代传统 VAE，解决了传统「VAE + Diffusion」范式的效率与通用性痛点。