搜索：多模态扩散Transformer

「多模态扩散Transformer」共找到 1352 篇相关文章

AI上清北，普通人该怎么办？｜甲子光年

2025年AI模拟高考成绩达清北线，引发对人类努力意义的思考。三位嘉宾围绕AI能力进步、与人类能力差异、对教育和创作的影响等展开对谈，探讨人类在AI时代的定位、专业选择、教育变革等问题。

刚成立一个月的阿里ATH事业群发布全球首个主动式实时交互世界模型HappyOyster（快乐生蚝），它搭载原生多模态架构，有漫游、导演、创造、分享等玩法，目前需邀请码体验。其技术突破让它区别于传统文生视频模型。

文章介绍在优化SGLang对Wan2.2视频生成模型支持时，发现双Transformer架构下第1步和第19步推理慢的问题。通过零开销逐层权重卸载技术，将整体推理速度提升60%，还突破显存墙，且该优化可扩展到其他模型。

视觉 - 语言模型在具身环境中表现有局限，港大推出 EmbRACE - 3K 数据集应对。它含 3000 多个任务、2.6 万个决策步骤，有细致多模态注释。团队用其微调 Qwen2.5 - VL - 7B 模型，还建立新基准评估多个模型。

英伟达联合MIT等推出Long - RL，它是面向长序列推理和多模态强化学习的全栈训练框架，能提升RL训练数据长度上限，让训练速度翻倍。其核心MR - SP并行框架可降低训练耗时和显存，LongVILA - R1是其明星应用。

商汤新开源的生图模型SenseNova U1.5-Lite-Preview亮点十足，它是国产、4K直出、轻量且可指哪儿改哪儿的原生统一多模态模型。能应对复杂创作和编辑任务，技术源于NEO-Unify架构，评测成绩佳，不过还是早期预览版。

近日，复旦大学邱锡鹏教授领衔的OpenMOSS团队联合模思智能开源11B参数的多模态视觉理解模型MOSS-VL。它能准确回答视频里可被验证的细节、时间、过程和空间关系，有六项证据级能力，架构设计独特，采用Apache2.0开源许可。

蚂蚁集团发布全球首个开源混合线性架构万亿参数模型Ring - 2.5 - 1T，打破深度思考牺牲推理速度和显存的‘不可能三角’。还同期发布扩散语言模型LLaDA2.1和全模态大模型Ming - flash - omni - 2.0，想做成可复用底座。

在机器人和具身智能领域，transformer模型又大又‘重’，边缘设备难以承受。东南大学、中南大学、明略科技联合提出的CompTrack论文，创新性解决AI模型处理稀疏数据的‘双重冗余’，在3D点云跟踪任务上实现精度和速度双优。

9日WAVE SUMMIT深度学习开发者2025大会上，文心大模型X1.1发布，事实性、指令遵循、智能体能力显著提升，多项测试表现佳。它能做到知识一致，精准遵循指令，智能体解决问题出色，代码、数学、多模态能力也有进化，得益于迭代式混合强化学习训练框架。