「多模态混合检索」共找到 1344 篇相关文章
北大、字节、中科院自动化研究所等提出图像并行生成新范式
北大、字节等团队发现多模态模型先思考后作画会降低图像语义保真度，因自回归架构有误差传播问题。为此提出并行多模态扩散框架MMaDA - Parallel，构建ParaBench基准，多项优化后在测试中击败Bagel。
开源黑科技！向量数据库，居然要被 MP4 给干掉了！
GitHub开源项目Memvid，能用MP4视频文件替代昂贵的向量数据库，检索达亚秒级。它把文本编码成视频，用配套JSON索引记录位置，结合sentence-transformers和FAISS实现语义搜索，存储和检索性能出色。
相机参数秒变图片！新模型打通理解生成壁垒，支持任意视角图像创作
S-Lab等机构研究员提出Puffin统一多模态模型，它能整合理解相机参数与按参数生成对应视角图片的能力。通过“用相机思考”和400万组数据训练，解决此前模型问题，还构建相关数据集和评测基准，性能出色。
10B超越Gemini-2.5-Pro！阶跃星辰端侧多模态天花板开源
阶跃星辰多模态智能团队开源STEP3-VL-10B多模态模型，仅100亿参数却性能惊人。它采用了独特的架构、训练策略与推理机制，在多任务上表现出色，为小模型发展提供新思路。
尖峰对话17分钟全记录：Hinton与周伯文的思想碰撞
7月26日，人工智能教父Geoffrey Hinton与周伯文教授进行17分钟对话，谈及AI多模态大模型前沿、“主观体验”和“意识”等话题。Hinton认为当今多模态聊天机器人已有意识，还探讨了训练善良AI及AI推动科学进步等问题。
论文深度解读：大模型（LLM）加持下的自主无人机分层智能体框架，实现自主规划
文章解读《A Hierarchical Agentic Framework for Autonomous Drone-Based Visual Inspection》论文，介绍分层智能体框架让无人机群自主规划。研究对比三种‘思考模式’与不同‘大脑’组合，还指出未来研究可开发混合系统、混合能力智能体及自适应系统。
AI修真的一年：学者们怎么看“真智能”？｜甲子光年
甲子光年在年终盛典对话三位学者，探讨AI“真假智能”。学者们提及强化学习、推理、多模态等技术突破，分析研究路径，还谈选择标准与未来期待，指出AI是工程实践命题，真与假关乎信念选择。
RL训练总崩溃？R1-Reward稳定解锁奖励模型Long-Cot推理能力
多模态奖励模型对提升多模态大语言模型表现至关重要，但强化学习在奖励建模应用有挑战。快手等团队提出R1 - Reward，解决训练不稳定等问题，在基准上超SOTA模型，还在快手业务场景成功应用。
vivo突破手机AI部署难题，绕开MoE架构限制，骁龙8 Elite流畅运行｜ICCV 2025
在AI多模态时代，‘让大模型上手机’成焦点。现有MLLM在手机端部署有难题，vivo AI研究院等团队提出GenieBlue方案，绕开MoE架构限制，在骁龙8 Elite芯片手机流畅运行，保持语言性能同时实现多模态表现。
MIDAS：快手可灵发布实时交互式数字人生成框架
近年来交互式数字人视频生成受关注，但实时处理多模态输入有挑战。快手可灵团队提出MIDAS框架，基于LLM驱动的自回归模型，结合轻量级扩散头，实现低延迟、交互式多模态控制，还构建大规模数据集等。