「多模态生成模型」共找到 8795 篇相关文章
多模态后训练反常识：长思维链SFT和RL的协同困境
华为与香港科大研究发现，多模态视觉语言模型中，长思维链SFT与RL组合难协同增益。研究引入难度分类方法构建数据集，分析各方法表现及组合策略困境，还给出实验发现与未来研究方向。
快手发布Keye-VL-1.5，同量级SoTA，让模型真正看懂视频！
近年来，多模态大语言模型兴起，但视频理解仍是难题。快手Keye团队推出Keye-VL-1.5，通过Slow-Fast编码策略、渐进式四阶段预训练和全面后训练流程等创新，实现视频理解突破，综合性能领先。
告别单一大模型依赖！北航等机构发布综述：大语言模型集成（LLM Ensemble）
北航等机构发布的论文系统性回顾了LLM Ensemble领域进展，介绍分类法、相关问题、方法、基准、应用和未来方向。LLM Ensemble指推理阶段综合利用多模型优势，现有推理前、中、后三大集成范式。
让大模型合成检查器：UIUC团队挖出Linux内核90余个长期潜伏漏洞
伊利诺伊大学香槟分校张令明老师团队的论文提出KNighter，它让大模型生成静态分析检查器，在Linux内核挖出92个长期潜伏漏洞，将LLM归纳能力沉淀为规则，带来可落地等好处。
大语言模型高考数学拿高分靠强化学习，那文科考高分得靠什么？
大语言模型在高考数学拿高分靠强化学习，但文科题无标准答案，此方法行不通。豆包1.6系列高考文科全科获683分，靠训练数据、思维链、长上下文和多模态直接读图等因素。
IBM推出轻量多模态文档神器！OCR与QA超GPT-4o，识别率高达98%！
日常文档处理麻烦，现有工具或体积大、算力消耗高，或识别精度不够。IBM 开源轻量多模态文档处理模型 Granite - Docling，仅258M参数，性能超 GPT - 4o，适用于多场景。
李飞飞押注的「世界模型」，中国自研Matrix-3D已抢先实现了？
中国自研世界模型Matrix-3D可单张图生成3D世界，效果对标李飞飞的World Labs，还能实现更大范围探索。它有诸多优势，技术上有创新，数据集有特点，应用前景广泛。
腾讯混元团队最新研究：让 AI 从「固定模型」走向「实时适配系统」
腾讯混元团队提出论文《HY-WU (Part I)》，尝试让模型在推理阶段根据输入实时动态生成适合任务的参数，而非依赖固定参数。通过多类实验验证，这种方式在图像编辑等任务中有明显优势，还降低了训练复杂度。
文生图进入R1时代：港中文MMLab发布T2I-R1，让AI绘画“先推理再下笔”
港中文MMLab团队发布首个基于强化学习的推理增强文生图模型T2I - R1。它提出双层级CoT推理框架和BiCoT - GRPO强化学习方法，解决生成评估难题，为多模态生成提供新范式。
英伟达为机器人推出懂推理的“大脑”！升级版Cosmos世界模型来了
在SIGGRAPH大会上，英伟达推出全新升级的Cosmos世界模型，重点升级规划能力与生成速度。还升级配套软硬件，如Omniverse库等。英伟达全力布局机器人领域，认为图形与AI融合将变革该领域。