「多模态交互」共找到 1456 篇相关文章
刚刚,Thinking Machines出手!首款交互模型来了,翁荔出镜实测
Thinking Machines Lab推出首个大模型TML - Interaction - Small,打破传统人机交互模式,实现全自然交互。它训练范式独特,采用双模型架构等设计,评测表现超GPT - Realtime 2.0等模型,后续还会推出更大尺寸模型。
架构解耦是统一多模态模型所必须的吗?全新AIA损失:No
香港中文大学 MMLab 和美团研究者思考架构解耦是否为统一多模态模型必须,推出 AIA 损失。研究发现架构解耦未解决任务冲突,AIA 能提升模型性能,减少数据配比问题。
终于开源升级OmniGen2,统一多模态图像生成模型,真的惊艳。
OmniGen2是强大的开源统一多模态图像生成模型,针对文本和图像模态构建独立解码路径,运用未共享参数。新架构提升处理效率和质量,在图像编辑等任务表现出色,还有多技术特点。
多模态大语言模型的核心技术架构与训练方法的进化
文章深入剖析多模态大语言模型核心技术架构与训练方法的进化,涵盖建模范式、视觉编码器、语言骨干网络、模态对齐、生成范式及训练方法等方面,介绍其演进路径与代表模型,还提及国内模型创新及开源模型OpenVLA。
解决算力瓶颈,给多模态瘦身!Token压缩完整图谱与选型指南
给多模态大模型瘦身是解决算力瓶颈的关键。Token压缩技术可剔除视觉冗余,提升训练与推理效率。北大等团队剖析其全貌,给出完整图谱与选型指南,还揭示了未来演进路径。
多模态幻觉的病因「高熵节点」找到了!全基准幻觉率下降
多模态大推理模型的幻觉常出现在生成转折词时,此时模型处于高熵关键节点,易脱离图像证据。研究者提出LEAD,高熵时保留候选推理方向,注入视觉锚点拉回证据,实验显示它能跨领域提升模型性能。
OCR-Reasoning:揭秘多模态大模型在复杂图文推理中的真实能力
主流OCR评测基准聚焦信息抽取任务,而图文推理任务缺乏系统性评估标准。OCR - Reasoning可系统性评估多模态大模型深度推理能力,还给出多种推理示例,并展示了测评Qwen2.5 - VL - 7B模型的代码。
智源清华带来PAM,手物交互数据生成新SOTA | CVPR 2026
北京大学、清华等联合提出统一引擎PAM,能整合姿态、外观和运动。用户提供初始和目标姿态及物体几何形状,它就能生成逼真手物交互视频。其效果超现有方法,合成视频可用于数据增强。
OCR-Reasoning:揭秘多模态大模型在复杂图文推理中的真实能力
主流OCR评测基准聚焦信息抽取,复杂图文推理任务中多模态大模型深度推理能力缺乏评估标准。OCR - Reasoning可系统性评估,还列举多种推理示例,并测评了Qwen2.5 - VL - 7B模型。
OpenAI员工爆料:已抢先体验GPT-5!7月上线,疑似完全多模态
新智元报道,X上神秘爆料与网友灰度测试经历让GPT - 5讨论再升温。奥特曼称今年夏天可能推出,迈向完全多模态。此外,还提及OpenAI核心团队动态、出走高管新动作及AI发展风险与监管建议。