「多模态扩散Transformer」共找到 1352 篇相关文章
阿里发布Qwen3-TTS：跨语言混合无缝切换，方言音色全面覆盖！
TTS技术从单一合成进化到多模态表达，但传统模型在跨语言/方言混合场景有不足，商业工具费用高且不开源，开源方案训练数据少。阿里推出Qwen3 - TTS，实现人类级自然度和表现力，功能强大，应用场景多。
The Batch: 873 | 通过自监督学习实现更好得图像处理
Meta等团队发布DINOv3权重和训练代码，参数规模扩6倍，用更多数据并引入新损失函数。它在图像分割和深度估计表现卓越，解决了自监督训练的视觉transformer的问题，提升全局和局部任务表现。
阿里开源电影级AI视频模型！MoE架构，5B版本消费级显卡可跑
阿里开源新一代视频生成模型通义万相Wan2.2，含文生视频等功能。它率先将MoE架构用于视频生成扩散模型，5B版本可在消费级显卡部署。对比前代和Sora表现更优，还推出电影级美学控制系统。
类R1训练不再只看结果对错！港中文推出SophiaVL-R1模型
DeepSeek - R1爆火后，类R1结果奖励训练范式引发推理热潮，但仅以结果对错奖励模型有弊端。港中文联合团队发布多模态推理模型SophiaVL - R1，引入‘思考奖励’机制，还用Trust - GRPO算法解决奖励欺骗问题。
极低成本，复现GPT-4o图像风格化一致性！NUS推出OmniConsistency
NUS ShowLab 推出 OmniConsistency，解决开源扩散模型在图像风格化一致性上与商业 API 的差距。它成本低，能在保持风格化效果时精准保留图像细节等，还解决了风格化与一致性的跷跷板问题，且兼容性强。
国内首套：港中文团队发布7模态人体动作数据集，揭开大模型理解能力短板
港中文邢国良教授团队博士生蒋思阳完成 CUHK-X 多模态人体动作数据集，成果被 ACM MobiSys 2026 接收。用其测试主流大模型，发现理解人类动作平均正确率仅四成。该数据集数据收集方法反常规，还开展了基准测试。
打工人五一自救指南：把活全甩给AI，准备免打扰出门
五一将至，为避免假期工作内耗，可安装百度智能云打造的AI助手DuMate。它支持多模态理解与生成，能跨应用完成复杂任务。经测试，它可高效处理整理文件、生成报告等工作，还能并行处理多项任务。
Meta 143亿挖角后首个作品来了：Alexandr Wang 推出闭源模型，杨立坤点赞
沉寂9个月后，Alexandr Wang带队的Meta发布新一代模型Muse Spark。它是原生多模态推理模型，性能媲美Gemini Pro和GPT 5.4，Meta还披露技术实现细节。不过闭源引争议，且模型在长时程智能体等方面有短板。
AI能帮忙厨房看火了！面壁智能开源全模态模型MiniCPM-o4.5，边看边听还能主动抢答
面壁智能开源全模态模型MiniCPM-o4.5，能边看边听还主动抢答。它引入全双工多模态实时流机制，在多方向达全模态模型领先水平。该模型是端侧原生，将与开发板配套，助力端侧智能硬件开发。
当顶级视频模型半衰期只有 30 天，fal.ai 为什么收入反而一年增长 60 倍？
在生成式媒体技术发展背景下，fal.ai 作为生成式媒体 infra 公司迅速崛起。它通过统一 API 与云端平台提供多模态模型调用能力，2025 年收入增长 60 倍并完成融资。文章解析其如何构建护城河及对行业发展的判断。