「多模态处理」共找到 1791 篇相关文章
告别Transformer，重塑机器学习范式：上海交大首个「类人脑」大模型诞生
上海交通大学团队发布首个「类人脑」大模型 BriLLM，脱离传统 Transformer 架构限制。它基于 SiFu 学习机制，有可解释性、能无限处理上下文等优势，还支持多模态融合，已获交大重点项目资助。
ICLR 2025新成果：文档检索“降本增效”，从此“开挂”
传统文档检索系统处理视觉信息丰富的文档存在瓶颈，ColPali方法直接从文档页面图像生成多向量嵌入，简化流程、提高性能、降低延迟。ColQwen - Omni在其架构上扩展到图文+音频多模态匹配。
豆包大模型2.0+Claude Skills，3步装好，终于有AI能帮我"看视频做笔记"了！火山引擎全系列可用！
传统视频总结工具只基于音频总结，内容浅显。而豆包大模型2.0是多模态原生模型，能同时处理画面和声音。只需3步安装配置，就能让它真正“看”视频，输出详细笔记。
阿里刚刚开源了一款影视级配音项目，口型同步、音色转换都不是事！
阿里通义实验室语音团队联合中科大发布多模态电影配音模型Fun - CineForge，开源模型并构建中文电视剧配音数据集。它能处理多种场景，有视频理解等亮点，还给出制作数据集步骤。
首次！世界模型、动作模型融合，全自回归模型WorldVLA来了
阿里巴巴达摩院提出全自回归模型 WorldVLA，首次融合世界模型与动作模型，统一文本、图片、动作理解和生成。它用独立编码器处理多模态数据，还提出策略解决误差累积问题，实验表现优异。
AI发现医生看不见的隐藏心脏病风险，近90%准确率远超人类专家｜Nature子刊
登上《Nature》子刊的研究显示，约翰霍普金斯大学团队开发的多模态AI模型MAARS，用深度学习处理原始MRI图像，实现对心源性猝死风险高精度预测，准确率达89%，还能辅助制定个性化医疗方案。
1.5B参数！支持本地实时语音转录
Liquid AI发布首个端到端音频基础模型LFM2 - Audio - 1.5B，参数1.5B，能在本地设备处理高质量端到端音频任务。它是统一多模态模型，支持两种生成策略，多种应用场景，虽仅支持英文但性能出色。
重新定义检索！一款真正“跨模态”的 RAG 模型来了！用音频搜视频、文本找音乐！
传统RAG有速度慢、细节丢失等问题。Vidore开源的ColQwen - Omni 3B多模态RAG模型，支持跨模态检索，能直接处理音视频原始数据，保留细节，检索速度快，还具备轻量高效等特性，适用于多场景。
阿里新王牌千问 APP 曝光：全面硬刚 ChatGPT
11月14日阿里开启「千问 APP」公测，其集成通义千问 Qwen 系列顶尖模型，有多模态能力。它对标 ChatGPT，在中文语境和结构化输出上有优势，实测处理财报、麻将推理等表现佳。
500行极简开源框架，硬刚GPT/Gemini视觉极限！
多模态大模型代码能力进步大，但基础视觉任务常失误。UniPat AI构建SWE-Vision框架，让模型用代码处理视觉判断，在五个视觉基准测试达最优，其极简设计有效且泛化性强，代码已开源。