搜索：多模态理解与生成

「多模态理解与生成」共找到 3413 篇相关文章

时隔9个月Meta全新模型Muse Spark发布：闭源，原生多模态，一发布就落后？

时隔9个月，Meta推出Muse家族首款大模型Muse Spark，原生多模态推理，但能力表现一般，编程领域落后于opus 4.6和GPT 5.4等。它有沉思模式，致力于成个人超级智能，技术亮点多，性能高效。

AI领域发展迅速，视频生成能力提升。百度全球首发中文音视频一体化模型百度蒸汽机2.0，实现人物口型等毫秒级同步，多版本升级且价格有竞争力。实测效果好，技术上解决难题，还开创应用驱动研发范式。

Kimi发布全新Agent模型「OK Computer」，依托Kimi K2，能搭网站、做PPT、处理大量数据。实测显示它在设计、生成、分析类任务表现不错，设计无需找素材，分析无需想角度，生成还能推荐风格。

Google DeepMind发布Flash - Lite Browser，能用Gemini 3.1 Flash - Lite实时生成网站。它表明GUI连预先设计都不需要，界面正发生三层分化，虽有不足，但展现界面从预制到即时生成的趋势。

近年来，扩散模型在视频生成领域广泛应用，但推理慢、算力消耗高问题突出。EasyCache是无需训练的视频扩散模型推理加速方案，在多模型实验中实现大幅提速且视频质量几乎无损，为技术落地提供基础。

现有文生音频技术在精细化控制方面有挑战，清华团队提出ControlAudio方法。它通过数据构造、渐进式训练和引导采样，在统一框架下实现时间与语音内容联合建模，在多项任务上表现优于现有方法。

文章围绕检索增强生成（RAG）语义缓存展开，指出其虽能提升效率，但设计不当会产生假阳性。以金融服务FAQ系统为例，经多组实验，发现缓存设计比模型优化更能减少假阳性，还给出未来架构路线图。

面壁上新最强端侧多模态模型MiniCPM-V 4.5，基于Qwen3 - 8B与SigLIP2 - 400M构建，总参数量8B。它视觉语言理解强、手机能跑，有高帧率视频理解等特点，还有多方面技术亮点。

北京大学知识计算实验室联合腾讯等机构提出RewardAnything，突破奖励模型瓶颈。它让奖励模型理解自然语言评判原则，降低成本，泛化能力比肩GPT - 4.1，还能用于定制AI行为模式。

在大语言模型发展中，长文本建模挑战大。蚂蚁研究团队提出注意力机制GCA，可端到端学习检索相关片段，实现超长序列处理与泛化，其Triton kernel实现已开源，论文被ICML 2025接收。