「跨模态交互」共找到 678 篇相关文章
腾讯混元世界模型HY-World 1.5开源，24 FPS的实时交互世界建模
腾讯混元世界模型HY - World 1.5开源，实现24 FPS实时交互世界生成。它采用双重动作表征等技术，解决了长程生成问题，还通过强化学习等优化，在多方面表现出色，为具身智能场景模拟奠基。
中科院甩出多模态“核弹”！类GPT-4o多模态模型开源！支持语言-视觉-语音任意组合交互！
中国科学院计算技术研究所（ICTNLP）开源类GPT - 4o多模态模型Stream - Omni，支持文本、视觉和语音任意组合交互，核心是高效模态对齐技术，少量多模态数据即可训练，有多种使用场景。
生成的世界也能交互！牛津大学&莫纳什大学&布里斯托大学等团队提出交互式视频世界模型Oneira
本文介绍牛津、莫纳什、布里斯托等多校团队提出的交互式视频世界模型Oneira，解决现有模型交互错配、状态易丢失的缺陷，实验效果优于现有主流基线模型。
重新定义检索！一款真正“跨模态”的 RAG 模型来了！用音频搜视频、文本找音乐！
传统RAG有速度慢、细节丢失等问题。Vidore开源的ColQwen - Omni 3B多模态RAG模型，支持跨模态检索，能直接处理音视频原始数据，保留细节，检索速度快，还具备轻量高效等特性，适用于多场景。
缩放定律Scaling正慢性死亡，算力收益递减，AI的下一个增长极是模型如何交互
前Google Brain科学家Sara Hooker论文指出，统治AI十年的缩放定律Scaling走向慢性死亡，算力收益递减，研究重点将转向推理时算力和模型如何交互，还分析了算力崇拜兴起、缩放法则裂痕及未来方向。
当 Agent 尝试接管浏览器，连“我是人类”都证明不了？上海交大开源发布交互评测基准 HLL
随着多模态大模型发展，Web Agent 面临验证码挑战。上海交通大学等团队发布 HLL 评测基准，解耦真实度为三维度，对 8 款前沿模型测试，揭示 Agent 在多步交互微操上的短板。
IEEE TVCG | 告别写代码！MoGraphGPT：基于模块化大模型与图形控制的2D交互场景创作
香港多所高校研究团队提出 MoGraphGPT 系统，结合上下文感知模块化大模型与图形化控制，能让用户零代码搭建 2D 交互场景。该成果被 IEEE TVCG 录用，还对比实验验证其优势。
小红书发布FireRedChat：首个可私有化部署的全双工大模型语音交互系统
小红书智创音频团队推出业内首个支持私有化部署的全双工大模型语音交互系统FireRedChat，可将半双工链路升级为全双工，提供级联与半级联服务，在多指标领先，让AI有“人感”。
AI 真能看懂物理世界吗？FysicsWorld：填补全模态交互与物理感知评测的空白
多模态大语言模型正经历范式转变，目标是实现全模态协同交互。但现有评测体系难跟上模型发展。飞捷科思和复旦团队推出 FysicsWorld 基准，可评测模型多能力，还提出 CMCS 策略，为全模态智能发展提供指引。
ACMMM 2025 | 北大团队提出 InteractMove：3D场景中人与可移动物体交互动作生成新框架
北大团队在ACMMM 2025发布InteractMove，首次提出含可移动物体3D场景中基于文本的人 - 物交互生成任务，构建数据集与创新框架，在多指标领先，代码与模型已开源。