搜索：多模态数字人

「多模态数字人」共找到 2200 篇相关文章

多模态Deep Research，终于有了「可核验」的评测标准

俄亥俄州立大学与 Amazon Science 等联合发布 MMDR - Bench，将多模态 Deep Research 评估拉到可核验标准。它含 140 个专家任务，覆盖 19 领域，把评估拆成 3 段管线、12 指标，强调过程证据链。

人大、清华和腾讯合作发布Crab论文，目标是实现多模态场景理解任务的高效一统。它针对音频 - 视觉理解模型难点提出解决方案，构建数据集、设计LoRA结构、统一架构，训练分预训练和指令调整两阶段。

在AI驱动的视频生成领域，创建多人对话场景是难题。MultiTalk是开源音频驱动多人对话视频生成框架，由MeiGen - AI等联合研发，输入多路音频等就能生成嘴型同步的视频，适用于多种场景。

面壁智能发布并开源参数量仅 1.3B 的 MiniCPM-V 4.6，虽小但多模态综合能力在 1B 级别中夺冠。它推理快，效率高，靠两大架构创新实现，还为开发者提供完整工具链。

智谱AI发布ComputerRL自主桌面智能框架，旨在让AI像人一样用电脑。它融合API与GUI，采用分布式训练，引入Entropulse解决探索衰减。在OSWorld测试中表现亮眼，虽有视觉感知等挑战，但意义重大。

谷歌DeepMind发布WeatherNext 2，运行速度比上一代快8倍，分辨率达小时级。其关键是新提出的FGN功能生成网络，通过输入32个随机数字生成多样天气情景，速度快且准确率高，虽有小瑕疵但实用。

文章指出在AI前沿，不少定义方向的人出身物理。物理训练赋予的品味与做AI的方法论高度重合，体现在统计力学与神经网络、对普适规律的信仰等方面，还提到Scaling Laws最能体现这种品味。

从GPT - 4o到Gemini，AI实现跨模态联合理解与生成，核心是统一多模态基础模型。但开源社区构建强大统一模型面临挑战。南大等团队梳理超750篇论文分析技术路线，将有直播探讨现状与未来。

Google 开源 InkSight，能将手写照片转为数字墨迹，与传统 OCR 不同，它可「还原书写方式」。具备离线转在线、多语言支持等功能，核心是「阅读 + 书写」双重训练，有两种使用模式。

字节开源原生多模态模型Lance，仅3B激活参数，40G显存就能跑，已登顶huggingface趋势榜。它能进行图像与视频的理解、生成、编辑等操作，在多个基准测试中表现优异，多项性能居首。