「全模态统一建模」共找到 815 篇相关文章
32倍加速，58秒搞定720p视频！字节发布离散自回归框架，统一视觉生成和长视频生成
字节发布InfinityStar框架，将5秒720p视频生成时间从30多分钟缩至58秒，还支持多样任务。它基于对视频本质思考设计时空金字塔模型，将时空分离，通过多项技术优化，性能表现出色，不过也存在一些技术局限。
开源RAG又添新军！港大开源多模态RAG神器，多文档格式统一解析、知识图谱索引与混合检索！
在AI信息检索领域，传统RAG系统难处理复杂文档。港大数据智能实验室开源RAG - Anything，可提供端到端解决方案，能多格式解析、构建知识图谱和混合检索，优势显著。
3D生成告别「穿模」噩梦！VASTx清华将蒙皮权重Token化，统一生成骨骼与权重，GRPO微调形变平滑
3D模型生成容易，让它“动起来”难，传统AI蒙皮算法有局限。SkinTokens研究将蒙皮权重离散化，构建TokenRig框架，引入GRPO算法，提升了AI自动绑定精度和泛化能力，助力3D动画自动生产。
用 Warpgate（5.8k star）在不装客户端的情况下，如何实现透明审计、统一堡垒与会话回放？
Warpgate 是完全透明的 SSH / HTTPS 等堡垒解决方案，无需额外客户端。能部署在 DMZ，提供会话录制等功能，以单一可执行文件发布，用 Rust 编写。文章介绍其痛点场景、功能、架构、上手步骤、应用场景等。
想入局VLA却不知从何下手？NTU&中大开源「终极菜谱」：从基座到频域建模，每一步都有实验支撑
MMLab@NTU联合中山大学的研究推出VLANeXt，从12个关键维度剖析VLA设计空间，每步有实验支撑。它在LIBERO及LIBERO - plus上超越SOTA方法，遇扰动成功率跃升10%，适合不同水平从业者。
Qwen开源版Banana来了！原生支持ControlNet
Qwen推出新图像编辑模型Qwen - Image - Edit - 2509，支持多图融合、增强单图一致性，原生支持ControlNet。还开源端到端全模态模型Qwen3 - omni，性能优异，功能丰富。
中科院甩出多模态“核弹”！类GPT-4o多模态模型开源！支持语言-视觉-语音任意组合交互！
中国科学院计算技术研究所（ICTNLP）开源类GPT - 4o多模态模型Stream - Omni，支持文本、视觉和语音任意组合交互，核心是高效模态对齐技术，少量多模态数据即可训练，有多种使用场景。
【开源】Multica：让 AI Agent 成为真正的团队成员
Multica 是开源的 Managed Agents 平台，能统一分配任务、跟踪进度、积累经验。它把 AI Agent 当团队成员管理，有5个关键能力，兼容8种主流 Agent，支持自部署，5分钟可上手，但生态尚处早期。
电商上演「魔法对轰」：卖家用AI假图骗下单，买家拿AI烂水果骗退款
电商领域，卖家用AI假图骗下单，买家拿AI假图骗退款，双方上演“魔法对轰”。单一证据易伪造，平台探索技术和策略组合，建立统一数字内容标准或成破局关键。
迎接「万物皆可RAG」时代：最新综述展示50多种多模态组合的巨大待探索空间
大模型常采用RAG技术，多模态崛起使RAG向MM - RAG发展。目前MM - RAG研究初级，华中科技大学等研究者发布综述，覆盖所有模态组合，剖析工作流，提供构建系统的一站式指南。