「视觉编码」共找到 996 篇相关文章
腾讯纯文本LLM训视觉encoder,拿捏图表长视频,达到开源小模型SOTA!
腾讯开源Penguin - VL,直接用纯文本LLM训视觉编码器,跳出传统多模态拼接套路。在2B/8B紧凑参数规模的复杂任务中竞争力强,训练分三阶段,相关代码、模型等已开放。
港中文联手美团开源“视觉推理通才”!图像视频10类任务一网打尽
香港中文大学MMLab与美团研究团队开源OneThinker模型,它可覆盖图像与视频十类核心视觉任务,在31项测试中表现出色,还展现泛化能力。研究团队搭建数据集,并引入EMA - GRPO算法提升训练稳定性。
pdf2skill:让计算机视觉初学者把PDF文档变成AI技能包
pdf2skill技术是“文档转技能编译器”,能将PDF知识转化为AI可调用技能包。它解决了计算机视觉研究和工程中的痛点,介绍了原理、实战案例、代码实现,还对比性能、给出使用指南。
Apple | 开源视觉语言模型:FastVLM,可手机运行,首token速度提升 85 倍
苹果开源能在 iPhone 上运行的视觉语言模型 FastVLM,代码仓库含 iOS/macOS 演示应用。它解决体积和速度问题,首 token 输出速度提升 85 倍,引入 FastViTHD 编码器,适配 iOS/Mac 生态,有不同参数量级版本。
JanusVLN:双重隐式记忆解耦语义与空间,开创视觉语言导航记忆新范式
视觉 - 语言导航(VLN)现有主流方法依赖显式记忆面临挑战,未充分利用3D线索。JanusVLN框架引入双重隐式神经记忆,解耦语义与空间信息,实验验证其性能、效率和泛化能力出色。
月之暗面刚开源多模态Kimi-2506:智能体、视觉理解,重磅大升级
国内月之暗面平台对开源多模态模型Kimi-VL-A3B-Thinking升级到2506版本。该版本性能、视觉理解等能力提升,支持更高分辨率,在多领域表现出色,还介绍了模型组成与优化器改进。
Stream-Omni:同时支持各种模态组合交互的文本-视觉-语音多模态大模型
中国科学院计算技术研究所团队提出文本-视觉-语音多模态大模型Stream-Omni,能支持多种模态组合交互。它对各模态关系针对性建模,实现高效灵活的模态对齐,仅用少量语音数据就有多种交互能力。
3.4K星Apple出品FastVLM:视觉TTFT效率提升85倍,凭啥这么牛!
文章指出VLM在实际生产应用中因高分辨率图像存在效率问题,介绍Apple出品的FastVLM解决方案,阐述其架构、训练过程,展示在多个基准测试的性能,凸显在高分辨率输入下提升效率的优势及实际应用价值。
社区供稿 | GLM-4.5技术博客:原生融合推理、编码和智能体能力
文章介绍 GLM-4.5 和 GLM-4.5-Air,二者旨在统一推理、编码和智能体能力。在 12 个基准测试中表现良好,采用 MoE 架构等技术,还开源 slime 框架。文中展示其多方面应用,并说明使用方式。
Claude 4发布!AI编程新基准、连续编码7小时,混合模型、上下文能力大突破
今天凌晨Anthropic开发者大会发布Claude 4,含Claude Opus 4和Claude Sonnet 4。前者是顶尖编码模型,后者是Sonnet 3.7重大升级。还发布系列产品,定价不变,已上线Amazon Bedrock。