「多模态数据集」共找到 3285 篇相关文章
5B参数+4060Ti，10秒出图，全流程开源可复现！补齐统一多模态生成编辑的开源版图，让高质量图像生成真正变得更轻量、更普及
近日，多机构联合发布统一多模态生成编辑模型DeepGen 1.0，仅5B参数，集成五大能力，4060ti 16G上10秒出图，多项指标超大4倍工业级模型。团队开源全流程代码与数据，可从零复现。
低延时、可交互的音频驱动肖像视频生成框架LLIA
美团提出新型音频驱动肖像视频生成框架LLIA，是低延迟、可实时交互的虚拟形象生成技术。它提出四项核心技术，引入三大核心模块，构建超100小时数据集，在多方面有出色表现。
AI无限生成《我的世界》，玩家动动键盘鼠标自主控制！国产交互式世界模型来了
昆仑万维带来交互式世界模型Matrix - Game，可让用户用键鼠探索创作虚拟内容。它发布了Matrix - Game - MC数据集、主模型和GameWorld Score评测体系，在多项评测中领先，还能在多领域发挥作用。
RF-DETR-首个突破60 AP的实时检测器（附实战教程）
RF-DETR在COCO数据集上，实时检测精度首破60 mAP，兼顾实时性与高精度。它通过NAS找到Transformer实时运行的‘最优解’，迭代快，适用于多场景，还给出完整实战教程。
近期，不错的LLM Agent统一记忆框架综述~
随着GPT、Qwen、Claude等大模型能力提升，LLM-based Agent走向长期任务。论文提出统一框架拆解Agent Memory为四组件，围绕两个数据集复现比较10个方法，还设计出新的低token开销框架。
SmartSearch：奖励驱动query精炼，让Agent中的RAG会“改错”
现有LLM搜索Agent忽视‘如何提问’致答案易出错。SmartSearch提出‘过程奖励+查询精炼’双机制，让Agent学会‘写不好就改’，代码已开源。经实验，它在六数据集全面领先，各机制缺一不可。
从捍卫者到引路人，上交&上海AI Lab提出LEGION：不仅是AI图像伪造克星，还能反哺生成模型进化？
AIGC技术发展使AI图像滥用问题严重，公众面临信任危机。上交与上海AI Lab等团队在论文中从构建数据集、设计模型、实现检测与生成统一三方面破局，LEGION能检测伪造，还可反哺生成模型进化。
免剪辑直出！AI生成多角色同框对话视频，动态路由精准绑定音频
Bind-Your-Avatar基于扩散Transformer框架，通过细粒度嵌入路由将语音与角色绑定，实现精准音画同步，还引入数据集MTCC和基准测试，实验显示其在身份保真和音画同步上优于现有方法。
蚂蚁具身研究首次亮相！就解决了机器人「看」透明玻璃这些难题，还开源了
蚂蚁灵波科技开源高精度空间感知模型 LingBot-Depth，针对性解决机器人识别真实世界的「玻璃问题」。其构建双线并行数据集，提出掩码深度建模思路，在深度补全等任务中表现出色，且已具备落地能力。
重新定义检索！一款真正“跨模态”的 RAG 模型来了！用音频搜视频、文本找音乐！
传统RAG有速度慢、细节丢失等问题。Vidore开源的ColQwen - Omni 3B多模态RAG模型，支持跨模态检索，能直接处理音视频原始数据，保留细节，检索速度快，还具备轻量高效等特性，适用于多场景。