「多模态DiT架构」共找到 2596 篇相关文章
一边秀肌肉,一边设围墙,NVIDIA 发布 OmniVinci,性能碾压 Qwen2.5-Omni,却被骂“假开源”
NVIDIA 推出多模态大语言模型 OmniVinci,结合架构创新与数据合成流水线,训练 token 仅为 Qwen2.5 - Omni 的六分之一,却在多项基准测试表现更佳。但采用限制商业用途的许可证,引发争议。
一边秀肌肉,一边设围墙,NVIDIA 发布 OmniVinci,性能碾压 Qwen2.5-Omni,却被骂“假开源”
NVIDIA 推出多模态大模型 OmniVinci,结合架构创新与合成数据流水线,训练 token 仅为 Qwen2.5 - Omni 的六分之一,却在多项基准测试表现更佳。但采用限制商业用途的许可证,引发“假开源”争议。
SGLang Model Gateway 0.2 发布:企业级一体化AI原生编排
市面上一体化AI原生编排方案稀缺,Oracle和SGLang团队推出SGLang Model Gateway 0.2。它从SGL - Router重构而来,核心能力升级,架构分三层,部署灵活,还支持Kubernetes集成和向后兼容。
清华&巨人网络首创MoE多方言TTS框架,数据代码方法全开源
清华与巨人网络联合首创 DiaMoE-TTS 多方言 TTS 框架,数据、代码、方法全开源。它基于 IPA 体系,有 MoE 架构和低资源适配策略,在多语种验证,为方言语音合成提供低成本、可扩展方案。
NeurIPS 2025 Spotlight | 条件表征学习:一步对齐表征与准则
文章指出传统表征学习处理图片和商品信息时存在局限,针对性有监督训练成本高,多模态大模型使用成本也需考虑。为此提出即插即用的条件表征学习方法 CRL,实验显示其在下游任务表现优异。
从GPT-2到gpt-oss,深度详解OpenAI开放模型的进化之路
OpenAI 近日发布 gpt-oss-120b 和 gpt-oss-20b 两个开源模型,Sebastian Raschka 发布博客对其详细分析,回顾自 GPT - 2 以来 AI 社区进步,还与 Qwen 3 比较,介绍架构、训练、推理等细节。
火山引擎 veFuser:面向扩散模型的图像与视频生成推理服务框架
近年来扩散模型在图像和视频生成领域取得突破,但 DiT 模型推理面临计算量大、模型多样、实时性需求等挑战。火山引擎推出 veFuser 推理框架,能在图片和视频生成上实现低延迟、低成本的高质量体验,且未来会持续迭代。
Codex给V4-Flash装上眼睛,DeepSeek也会文档OCR
GitHub上的项目codex-vision-proxy让接进Codex的DeepSeek能看图,不用换模型或等官方,装本地代理即可。它还附带视觉工具包,在智能文档解析和OCR上潜力大,证明多模态能力可长在管道上。
港股新贵押注物理AI,乐动机器人打造万亿市场空间的核心基础设施
物理AI时代,机器人需「读懂」物理环境,环境感知能力成竞争焦点。乐动机器人过去十年围绕此布局,有空间感知技术先发优势,其自研模型与架构构建数据飞轮,有望完成向感知基础设施平台的身份重塑。
Soul App 又放大招!把 42000 小时数据喂出的“歌神” SoulX-Singer 开源了!
语音合成近年爆发式增长,开源领域也有强大音乐模型。Soul APP联合多机构开源的SoulX - Singer,喂了42000小时数据,主打零样本歌声合成,支持双控制方式,多语言与跨语言能力强,架构先进,评测表现优。