「多模态理解与生成」共找到 3413 篇相关文章
阿里开源 Qwen3-TTS 全家桶！语音设计、克隆、生成全打包，开源 2 天 3K Star！
阿里通义团队开源 Qwen3 - TTS 全家桶，含语音设计、克隆、生成功能，开源 2 天获 3K + Star。它有秒级克隆、语音设计等能力，有 0.6B 和 1.7B 两种规格，双轨架构等技术创新保障性能。
ICML 2025 | 长视频理解新SOTA！蚂蚁&人大开源ViLAMP-7B，单卡可处理3小时视频
在视觉语言模型取得突破的当下，长视频理解挑战凸显。蚂蚁和人大团队提出视觉语言大模型ViLAMP，采用‘混合精度’策略，在多基准测试中超越现有方案，单卡可处理3小时视频，为实际应用带来新可能。
理解归 AI，正确归引擎：从一句话到一条实时数据链路（0代码搭建实时任务）
文章分享直播数据团队搭建AI辅助、指标驱动的实时数据端到端开发系统的实践与思考。从案例介绍用户使用流程，再深入系统内部讲链路构建与演进，阐述设计方法论，最后提出未来规划。
杀疯了！单卡4090跑通全量微调，面壁1B级多模态性能怪兽硬刚大厂
面壁智能推出MiniCPM-V 4.6，参数约1B，性能和推理效率出色。它在多模态任务综合能力、推理速度上领先竞品，靠ViT架构改造和4倍/16倍混合视觉Token压缩实现创新，有工业验证，对开发者和普通用户意义大。
SceneSplat: 基于3DGS的场景理解和视觉语言预训练，让3D高斯「听懂人话」的一跃
文章引入 SceneSplat，首个在 3DGS 上原生运行的端到端大规模 3D 室内场景理解方法，提出自监督学习方案，构建发布 SceneSplat - 7K 数据集，在多个实验中达 SOTA 效果。
字节开源高效解析文档图像的新型多模态模型Dolphin，快速将复杂的文档图像转化为结构化数据。
字节开源新型多模态模型Dolphin，采用“先分析后解析”范式，能将复杂文档图像转化为结构化数据。它有卓越性能和多种特性，还提供安装、推理使用指南。
一张图生成任意场景3D模型，部分遮挡也不怕｜IDEA x 光影焕像联合开源
IDEA研究院张磊团队与香港科技大学谭平团队联合推出SceneMaker框架，以DINO - X与Triverse为基础，实现从任意开放世界图像到带Mesh的3D场景完整重建，解决遮挡难题，有多项创新，应用场景广泛。
加速200倍，单显卡1.8秒生成5秒高清视频！清华与Vidu解开了视频扩散模型的速度枷锁
清华、生数科技与伯克利联手用TurboDiffusion解开视频扩散模型速度枷锁。它改造注意力机制、引入步数蒸馏和量化策略，在多模型测试中加速100 - 205倍，且画质几乎无损。
小米模型实现声音理解新SOTA！数据吞吐效率暴增20倍，推理速度快4倍 | 全量开源
小米全量开源MiDashengLM - 7B模型，它基于Xiaomi Dasheng和Qwen2.5 - Omni - 7B Thinker，实现声音理解新SOTA。性能领先，推理效率高，革新训练范式，全栈开源，将赋能多场景。
清华联手英伟达打造扩散模型新蒸馏范式！视频生成提速50倍，4步出片不穿模
清华大学朱军教授团队与NVIDIA Deep Imagination研究组联合提出分数正则化连续时间一致性模型（rCM），将连续时间一致性蒸馏扩展至大模型，解决现有方法瓶颈，提升推理速度兼顾质量与多样性。