搜索：全模态实时交互

「全模态实时交互」共找到 1048 篇相关文章

字节推出X-Streamer，实时口型同步与长程记忆数字人框架

字节推出端到端多模态人类世界建模框架X - Streamer，能从单张人像构建可无限流式生成的数字人，实现音素级口型同步和长程记忆。其核心是“思考者–行动者”双Transformer架构，在两张A100 GPU上可实时运行。

单图像3D重建是计算机视觉难题，传统基于回归和生成式方法各有局限。Stability - AI开源SPAR3D模型，融合两种方法规避局限，仅0.7秒完成单图实时3D重建，实验显示性能显著优于其他基线方法。

在AIGC领域，ComfyUI虽强大但节点复杂。阿里团队开源ComfyUI - Copilot，通过自然语言交互增强工作流自动化，有节点搜索、工作流构建等功能，简化操作，提升效率。

在AI发展中，商业研究Agent是“黑箱”，开源研究Agent性能有差距。MiroMind团队推出MiroThinker v1.0，提出“交互扩展”提升性能，在多基准测试表现出色，也指出了当前版本的局限。

Decart创业公司推出全球首个实时、无限长度的AI视频模型MirageLSD，基于独创LSD技术。其响应低于40毫秒，靠历史增强等技术攻克难题。它不止用于特效，平台将持续升级，创始人目标是打造‘千亿级独角兽’。

Meta在非侵入式脑机接口研究取得重大进展，Brain2Qwerty v2能从原始脑信号实时解码句子，平均词准确率达61%，最优78%。研究团队开源训练代码，数据集也同步开放，但应用于临床仍面临精度和设备限制。

新加坡南洋理工大学和合肥工业大学研究人员在ICLR 2026提出REVEL任务，打造免训练DragStream方法，实现视频生成时实时拖拽编辑，支持多种操作，破解两大难题，实验显示效果、泛化性佳。

马斯克旗下xAI开源去年最佳模型Grok - 2.5，6个月内还将开源旗舰模型Grok 3。Grok - 2.5可实时抓取社交平台X数据，用超20万块H100训练，性能超GPT - 4o等，应用场景广泛。

3D 生成团队 VAST 开源实时生成式渲染器 EdenLive，单张 H100 渲染 720P 达 29.8 FPS，代码和权重均已公开。

中国人民大学等团队推出 OmniGAIA 新基准及 OmniAtlas 训练框架。OmniGAIA 含 360 个高难度任务，覆盖多领域。实验显示闭源与开源模型差距大，OmniAtlas 显著提升开源模型表现，并指出未来全模态智能体发展方向。