「多模态框架」共找到 2414 篇相关文章
扔掉人工公式：快手EMER框架，用“会比较、自进化”的模型重构短视频推荐排序
过去十年，推荐排序多依赖人工设计公式，但此模式遇瓶颈。快手策略算法团队提出 EMER 框架，用“会比较、能进化的 AI 模型”重构短视频推荐排序，在快手主 App 和极速版效果显著，还为行业提供解决方案。
视频理解新标杆，快手多模态推理模型开源：128k上下文+0.1秒级视频定位+跨模态推理
快手开源能看懂视频并跨模态推理的大模型Keye-VL 1.5，其有时序定位、描述和推理能力，跑分领先。采用三段式架构和Slow-Fast编码策略，经四阶段预训练和多阶段后处理，团队成果多，推动多模态技术落地。
协同加速，多机器人协作不再「慢半拍」！软硬一体化框架ReCA破解具身智能落地效率瓶颈
佐治亚理工学院等团队推出集成加速框架 ReCA，针对多机协作具身系统，从算法、系统、硬件跨层协同优化，经评估，实现 5 - 10 倍速度提升且成功率升 4.3%，为具身智能落地奠基。
强化学习+MCP=王炸？开源框架教AI在MCP中玩转工具解决任务，实测效果超越GPT！
科技公司OpenPipe提出全新开源强化学习框架MCP·RL，只需一个MCP Server地址，agent就能自动发现工具、生成任务，在闭环反馈中摸索出最优调用策略，实测在2/3的benchmark上达或超SOTA性能。
NeurIPS 2025 | ARGRE框架实现高效LLM解毒：自回归奖励引导，安全对齐更快、更准、更轻
北航等机构研究提出自回归奖励引导表征编辑（ARGRE）框架，在LLM潜在表征空间可视化毒性变化路径，实现测试阶段高效“解毒”。实验显示其降低毒性、缩短推理时间，不影响模型能力，优于基线方法。
攻克大模型「表格盲区」！ST-Raptor框架发布，实现复杂半结构化表格的精准理解与信息抽取
半结构化表格布局多样、结构复杂，让自动化数据处理困难。上海交大等团队发布 ST - Raptor 框架，提出 HO - Tree 数据结构及树上操作，构建 SSTQA 数据集，提升表格问答准确率，弥补大模型处理短板。
12月首炸！可灵 O1 正式发布，全球首个统一多模态视频大模型，强得可怕！
12月快手旗下可灵发布全球首个统一多模态视频大模型Kling O1，标志AI视频进入“全流程语义控制时代”。它将多种视频创作能力统一，有全能引擎等五大亮点，性能对比优势明显，让AI视频生成更可控。
突破高分辨率图像推理瓶颈，复旦联合南洋理工提出基于视觉Grounding的多轮强化学习框架MGPO
先进多模态大模型处理高分辨率图像有瓶颈，复旦和南洋理工研究者提出基于视觉Grounding的多轮强化学习方法MGPO，能让模型精准推理，还可使模型从答案反馈中涌现视觉定位能力，避免依赖昂贵标注。
破解「长程智能体」RL训练难题，腾讯提出RLVMR框架，让7B模型「思考」比肩GPT-4o
腾讯混元AI数字人团队提出RLVMR框架，将‘元认知’理论引入RL，通过奖励‘好的思考过程’解决长程任务中智能体的低效探索与泛化难题，经其训练的7B模型表现出色。
原来Veo 3早有苗头！人大联合值得买科技在CVPR 2025提出全新「图像到有声视频」生成框架
中国人民大学与值得买科技团队在CVPR 2025提出JointDiT框架，可从静态图像生成同步音视频。此研究定义图像到有声视频生成新任务，解决音视频融合难题，实验显示其效果优，还将拓展至四模态建模。