「多模态交互」共找到 1457 篇相关文章
群核科技开源两款空间大模型，想解决 Genie3 没能彻底解决的问题
2025年8月25日群核科技举办TechDay，发布专注3D室内场景的空间大模型，开源SpatialLM 1.5和SpatialGen。两款模型分别解决理解交互和空间一致性问题，有实际应用价值，还介绍了数据飞轮效应及模型相关问答。
AI们数不清六根手指，这事没那么简单。
作者测试发现Grok4、OpenAI o3等多模态模型都将六指图数成五指，仅Claude 4偶尔答对。研究揭示大模型看图片用记忆而非视觉，易受刻板印象影响，在工业等场景或引发严重后果。
错过它＝落伍！只用一张照片+14秒，腾讯开源 HunyuanVideo-Avatar 带你玩转多角色数字人
HunyuanVideo-Avatar 是腾讯混元团队最新开放的多模态数字人生成模型。上传一张人物图片，再配上一段音频，模型即可在约 14 秒内输出分辨率最高 720p、情绪可控、动作丰富且支持多角色同屏的短视频。
Anthropic开源Claude小企业插件：不用写prompt，15套现成流程顶半个运营团队
Anthropic开源面向小企业的Claude插件，有15个基础技能、15套业务工作流及懂大白话的路由模块。支持Claude Cowork和Claude Code，操作待确认。日常使用几乎无学习成本，安装配置较简单，亮点是降低交互门槛。
8B硬刚72B！MiniCPM-V 4.5技术报告正式出炉
行业首个具备“高刷”视频理解能力的多模态模型MiniCPM-V 4.5技术报告发布，提出三项关键技术，使模型在多任务达同级SOTA，8B参数规模超72B模型，推理快，开源后获社区好评。
突破高分辨率图像推理瓶颈，复旦联合南洋理工提出基于视觉Grounding的多轮强化学习框架MGPO
先进多模态大模型处理高分辨率图像有瓶颈，复旦和南洋理工研究者提出基于视觉Grounding的多轮强化学习方法MGPO，能让模型精准推理，还可使模型从答案反馈中涌现视觉定位能力，避免依赖昂贵标注。
FairyGen：AI 把孩子的画“动”起来，个性化教育和动画创作
FairyGen 能将孩子画作变成卡通短片，通过多模态大语言模型构思分镜脚本，采用分层建模处理前景人物动作与背景动态。其生成流程分四阶段，但也存在前景角色重建不准、背景生成不稳定等问题。
OpenAI未公开的o3「用图思考」技术，被小红书、西安交大尝试实现了
OpenAI推出的o3推理模型打破传统文字思维链边界，实现图像融入推理过程。小红书与西安交大联合构建多模态深度思考模型DeepEyes，尝试实现类似能力，还开源技术细节，在多任务中表现出色。
登上 GitHub 日榜 TOP5，收获 1.2 万标星的自动剪辑视频开源工具。
video-use是browser-use团队开源的自动剪视频项目，登上GitHub日榜TOP5、获1.2万标星。它改变剪辑交互方式，让用户描述意图，有智能剪辑、调色等功能。技术亮点是双层读取系统，成本和效率更优。
让大模型“边看边改”，视觉分割准确率直接上涨9% | ICML 2026
复旦、创智联合推出RSAgent，让多模态大模型通过多轮工具调用生成准确掩码，解决视觉分割难题。该工作入选ICML 2026，实验显示其在多个测试集上表现领先，还展示了从‘看图问答’到‘视觉行动’的路径。