搜索：多模态DiT架构

「多模态DiT架构」共找到 2586 篇相关文章

编程进入「对讲机」时代！Claude抢发语音写代码，转录Token全免费

Anthropic给Claude Code加语音模式，输入 /voice，长按空格说话即可输入，转录Token全免。OpenAI的Codex也更新类似功能。语音编程在Debug、架构讨论等场景好用，但识别变量名等仍有短板，未来编程将多模态。

本文介绍自回归生成多视图图像方法 MVAR，能从先前视图提取引导信息增强一致性，拉近与基于扩散方法的图像质量差距。解决了多模态条件控制和数据有限问题，展示出强指令遵从与多视角一致性。

上个月开源的多模态模型 MiniCPM-V 4.5 广受好评，今日其技术报告出炉。报告从架构、数据和训练三方面探索高效路径，提出三大技术，使模型在多任务上突破，小参数规模下性能和推理速度佳。

2月4日上海人工智能实验室开源万亿参数科学多模态大模型Intern - S1 - Pro，为AI4S迈向2.0提供开源基座。其核心科学能力跃升，底层架构创新，科学与通用能力协同发展，还构建了‘算力 - 算法’一体化基座，推动科研范式革命。

面向自动驾驶的多模态大模型存在问题，FSDrive提出“时空视觉CoT”，让模型“以图思考”，联合未来场景与感知结果进行可视化推理。该方法在不改动原有MLLM架构前提下激活图像生成能力，实验表现出色。

香港大学黄超教授团队开源多模态智能处理系统RAG - Anything，突破传统RAG技术单一文本局限，整合多模态文档解析等核心能力，解决现有RAG系统痛点，具备多方面技术亮点，有便捷部署方式和多场景应用模式。

阿里通义千问发布Qwen3.5系列四款小模型，采用Gated DeltaNet混合注意力机制。有原生多模态设计，解决“内存墙”问题。在多基准测试中表现出色，开发者反响好，但也存在幻觉级联、调试局限等问题。

Meta的SAM 3能理解语义，实现可提示概念分割。它支持开放词汇、全实例分割等，架构有创新，数据引擎高效。评估显示其性能优异，与MLLM结合成SAM 3 Agent后推理分割能力强，但在专业领域和复杂场景有局限。

美团新开源LongCat-Flash-Omni模型，支持多模态，在全模态基准测试达开源SOTA水准，推理快且全模态能力强。实测交互体验丝滑，其迭代逻辑清晰。该模型成功源于架构创新，美团靠软硬件结合实现虚实连接。

谷歌发布Gemini 3欲夺回AI主导权。谷歌DeepMind的CTO与AI Studio产品负责人剖析其发布盛况等，称这是与全球用户共建AGI的实验，还谈到模型发展、应用及多模态等问题，也承认仍有提升空间。