搜索：多模态交互 - AI Reading Hub

「多模态交互」共找到 1489 篇相关文章

NVIDIA重磅开源！OmniVinci 仅 9B 模型就拿下多模态冠军！

英伟达推出全模态大语言模型 OmniVinci，架构有三大创新。OmniVinci - 9B 模型表现亮眼，多测试中大幅超 Qwen2.5 - Omni，且训练量仅为其六分之一。其架构经多阶段流程实现全模态理解，还支持多种功能。

BLIP3 - o致力于统一图像理解和生成，提升生成质量与效率。它融合自回归和扩散模型，采用CLIP + Flow Matching架构等。经训练，在图像理解和生成任务表现佳，指令微调效果显著。

BLIP3 - o致力于统一图像理解和生成、提升生成质量和效率。它融合自回归与扩散模型，采用CLIP + Flow Matching架构等技术亮点。经训练，在图像理解和生成任务表现出色，指令微调效果显著。

平时拿到的PDF表单大多无法直接填写，操作繁琐。GitHub上的开源工具CommonForms能自动识别PDF表单区域，一键生成可填写的交互式表单，基于深度学习模型FFDNet，功能强大且使用简单，还保障数据隐私。

加州大学圣地亚哥分校推出Orca浏览器，把网页视为可塑材料，浏览器变为可塑空间。用户能在无限画布中浏览、管理网页，调度智能体完成任务，还可进行大规模查看、管理等操作，项目将开源。

中科院自动化所等团队提出VHR方案，通过“视觉神经增强”机制放大模型视觉关键注意力头输出，降低幻觉现象。此前主流方法多作用于最终输出阶段，VHR深入干预内部机制，还介绍了SSL语义引导方法。

北航刘偲教授团队提出语言引导的细粒度无人机轨迹控制研究框架，定义Flow范式。采用模仿学习法让无人机响应指令，构建数据集和仿真评测基准，还提出协作策略和算法，实现真机部署。

本文介绍面壁智能和OpenBMB最新开源的端侧多模态大模型MiniCPM-V 4.7，其35B-A3B版本总参数35B，推理仅激活3B，仅需3G内存即可在iPhone等手机断网流畅运行，性能领先同类模型，详解了其优化技术与行业价值

牛津大学团队推出全球首个心脏传感基础模型CSFM，能统一分析多源数据，精准诊断房颤、预测死亡风险等。它打破设备壁垒，让偏远地区也能享用顶级心脏监护，推动全球医疗平权。

谷歌发布Gemini Embedding 2新型基础架构，将文字、图像等数据整合到统一维度，终结旧工作流。该系统赋予机器五维感知，建立跨媒介沟通语言，提升运行效率，在多场景有应用潜力。