「渐进式视觉压缩」共找到 883 篇相关文章
Apple | 开源视觉语言模型:FastVLM,可手机运行,首token速度提升 85 倍
苹果开源能在 iPhone 上运行的视觉语言模型 FastVLM,代码仓库含 iOS/macOS 演示应用。它解决体积和速度问题,首 token 输出速度提升 85 倍,引入 FastViTHD 编码器,适配 iOS/Mac 生态,有不同参数量级版本。
JanusVLN:双重隐式记忆解耦语义与空间,开创视觉语言导航记忆新范式
视觉 - 语言导航(VLN)现有主流方法依赖显式记忆面临挑战,未充分利用3D线索。JanusVLN框架引入双重隐式神经记忆,解耦语义与空间信息,实验验证其性能、效率和泛化能力出色。
超越ZIP的无损压缩来了!华盛顿大学让大模型成为无损文本压缩器
华盛顿大学SyFI实验室提出LLMc,利用大型语言模型进行无损文本压缩。基准测试显示其压缩率优于传统工具,且项目已开源。不过,当前版本存在效率、吞吐量等问题,应用范围也主要在自然语言。
月之暗面刚开源多模态Kimi-2506:智能体、视觉理解,重磅大升级
国内月之暗面平台对开源多模态模型Kimi-VL-A3B-Thinking升级到2506版本。该版本性能、视觉理解等能力提升,支持更高分辨率,在多领域表现出色,还介绍了模型组成与优化器改进。
RAE+VAE? 预训练表征助力扩散模型Tokenizer,加速像素压缩到语义提取
近期,RAE 提出以「 冻结的预训练视觉表征」作潜空间提升扩散模型性能。同期西安交大与微软亚研院提出 VFM - VAE,结合 RAE 与 VAE,能加速模型收敛、提升生成质量,展示扩散模型 Tokenizer 演化方向。
Stream-Omni:同时支持各种模态组合交互的文本-视觉-语音多模态大模型
中国科学院计算技术研究所团队提出文本-视觉-语音多模态大模型Stream-Omni,能支持多种模态组合交互。它对各模态关系针对性建模,实现高效灵活的模态对齐,仅用少量语音数据就有多种交互能力。
腾讯纯文本LLM训视觉encoder,拿捏图表长视频,达到开源小模型SOTA!
腾讯开源Penguin - VL,直接用纯文本LLM训视觉编码器,跳出传统多模态拼接套路。在2B/8B紧凑参数规模的复杂任务中竞争力强,训练分三阶段,相关代码、模型等已开放。
语音界Sora!微软刚开源新模型,一次生成90分钟语音、3200倍压缩率
今天凌晨微软研究院开源创新音频模型VibeVoice - 1.5B,有诸多技术突破,如可合成90分钟语音、支持4名发言人、3200倍音频压缩等,还首创双tokenizer协同架构。未来微软还会开源更大参数模型。
智谱AI、清华开源新视觉大模型:刷新41项纪录,同级别最强
智谱AI与清华联合开源GLM - 4.5V视觉大模型,它基于GLM - 4.5 - Air开发,架构独特。在42项主流测试中创41项新纪录,多领域表现超Qwen2.5 - VL等模型,还采用新训练策略。
上海交大DENG Lab提出「LatentUM」:Unified Model的真正「战场」在视觉推理与世界模型
上海交通大学 DENG Lab 提出的 LatentUM,尝试让统一模型把生成的视觉内容纳入推理闭环。它在多项任务上超越基线,其核心思路是生成与语言共享语义空间的离散 visual semantic tokens,模型含三大关键设计。