搜索：视觉指令微调

「视觉指令微调」共找到 1141 篇相关文章

让小爱音箱超越「指令-响应」模式，开启真正智能交互新时代

2017年智能音箱诞生，却被困于「指令 - 响应」模式。此次Open - XiaoAI进化，接管小爱音箱“耳朵”和“嘴巴”，通过多模态大模型和AI Agent释放其潜力，还给出项目运行教程等。

南洋理工与商汤团队提出 Prism Hypothesis（棱镜假说）与 Unified Autoencoding（UAE）。论文指出视觉基础模型中语义理解和像素保真很难兼得，用频率谱统一视角解决冲突，UAE 实验效果良好。

在NeurIPS 2025论文中，南京理工大学等校研究团队提出VIST框架，为大语言模型长文本高效推理提供视觉解决方案。它模仿人类阅读机制，让模型具备选择性阅读能力，减少Token需求和内存使用。

香港中文大学MMLab与美团研究团队开源OneThinker模型，它可覆盖图像与视频十类核心视觉任务，在31项测试中表现出色，还展现泛化能力。研究团队搭建数据集，并引入EMA - GRPO算法提升训练稳定性。

pdf2skill技术是“文档转技能编译器”，能将PDF知识转化为AI可调用技能包。它解决了计算机视觉研究和工程中的痛点，介绍了原理、实战案例、代码实现，还对比性能、给出使用指南。

苹果开源能在 iPhone 上运行的视觉语言模型 FastVLM，代码仓库含 iOS/macOS 演示应用。它解决体积和速度问题，首 token 输出速度提升 85 倍，引入 FastViTHD 编码器，适配 iOS/Mac 生态，有不同参数量级版本。

MiniMax发布海螺2.0版本，能处理极端物理情况，原生支持1080P，在指令遵循、生成质量达一流水平，成本效率破纪录。此前还开源MiniMax - M1，两大底层技术创新让其成果惊艳，展现研发实力。

视觉 - 语言导航（VLN）现有主流方法依赖显式记忆面临挑战，未充分利用3D线索。JanusVLN框架引入双重隐式神经记忆，解耦语义与空间信息，实验验证其性能、效率和泛化能力出色。

国内月之暗面平台对开源多模态模型Kimi-VL-A3B-Thinking升级到2506版本。该版本性能、视觉理解等能力提升，支持更高分辨率，在多领域表现出色，还介绍了模型组成与优化器改进。

中国科学院计算技术研究所团队提出文本-视觉-语音多模态大模型Stream-Omni，能支持多种模态组合交互。它对各模态关系针对性建模，实现高效灵活的模态对齐，仅用少量语音数据就有多种交互能力。