「多模态DiT架构」共找到 2586 篇相关文章
商汤林达华万字长文回答AGI：4层破壁，3大挑战
在WAIC 2025上，商汤发布国内首个实现“图文交错思维”的商业级大模型日日新6.5。商汤科技联合创始人林达华发文，剖析多模态通用智能实践，解答AI领域关键问题，提供通往AGI的参考。
自动化评测的九九归一——评测agent
本文提出统一评测Agent架构，实现评测全链路自动化。它能学习标注标准，完成自动标注等工作。还介绍架构、解耦方法、模型优化及训练方案，解决多模态幻觉等问题，提升机审率，节省标注成本。
北大、字节、中科院自动化研究所等提出图像并行生成新范式
北大、字节等团队发现多模态模型先思考后作画会降低图像语义保真度，因自回归架构有误差传播问题。为此提出并行多模态扩散框架MMaDA - Parallel，构建ParaBench基准，多项优化后在测试中击败Bagel。
The Batch: 944 | Llama 之后的时代
Meta发布首个AI模型Muse Spark，是多模态推理模型，在部分健康和多模态测试领先，编程与智能体任务有不足。Meta披露技术细节少，该模型基准测试有竞争力，但其从开放转向封闭引开发者担忧。
OmniHuman-1.5：让数字人拥有“思考”的视频生成新范式
现有视频数字人模型难捕捉角色本质，字节提出 OmniHuman - 1.5 框架。其核心创新是用 MLLM 提供语义引导、提出多模态 DiT 架构和伪末帧设计，使模型融合多模态信号，生成高质量角色动画。
jina-embeddings-v5-omni 发布！全模态向量小模型
Jina AI发布`jina-embeddings-v5-omni`，将`v5-text`能力拓展到多模态。`v5-omni-small`参数量小却追平LCO - 7B，在多模态评测中表现优异，但视频是短板。其采用‘冻结 + 投影’架构，训练快、省显存。
GLM4.5之后，智谱又开源GLM-4.5V，实测下来视觉推理能力贼强~
智谱继GLM-4.1V-9B-Thinking、GLM-4.5后，又开源最强多模态推理模型GLM-4.5V，在多模态理解榜单达开源SOTA。它视觉推理强，经测试能助力科研各阶段，还介绍了其架构设计与训练策略。
离职特斯拉“隐身”14个月，杨硕创业终于亮牌：重新定义机器人训练范式
杨硕从特斯拉擎天柱团队离职创业一年多后，妙动科技团队带来新论文《DiT4DiT: Jointly Modeling Video Dynamics and Actions for Generalizable Robot Control》。该团队用视频训练机器人动作，提出DiT4DiT模型，解决VLA模型不懂物理问题，在人形机器人上有新突破。
高效Agents的尽头是，Harness
文章指出玩Agent久了会出现问题，很多人简单将其视为“模型+工具”组合远远不够。以OpenDev为例，介绍了Harness架构，包括核心理念、扩展ReAct循环、上下文工程等，还提及安全架构、多模型路由等内容。
Grab 订阅平台从 SQS 和 Redis 切换到 Temporal
Grab基于Temporal构建新的GrabUnlimited架构，增强用户体验，将订阅平台生产事件减少80%。原架构用SQS和Redis，随订阅者增多问题频出，新架构利用Temporal特性解决诸多难题。