「多模态框架」共找到 2414 篇相关文章
SFT在帮倒忙？新研究：直接进行强化学习，模型多模态推理上限更高
学界常用「监督微调（SFT）+ 强化学习（RL）」训练大模型。但新研究发现，SFT 会引发「伪推理路径」，阻碍推理进步。相比之下，直接进行 RL 训练，模型多模态推理上限更高，该团队训练的模型还刷新了纪录。
让机器人看视频学操作技能，清华等全新发布的CLAP框架做到了
近日，清华联合星尘智能、港大、MIT提出 CLAP 框架，能将视频运动空间与机器人动作空间对齐，解决‘数据饥荒’‘视觉纠缠’等问题，可让机器人从视频学技能，还缓解知识迁移难题，推动机器人产业化。
MIT和加州联手打造多智能体大语言模型的金融交易框架TradingAgents
MIT和加州联手打造多智能体大语言模型的金融交易框架TradingAgents，将交易任务分解为专业角色，含分析师、研究员等。介绍了安装、CLI使用、包的实现细节等，还提及项目地址。
高潮从第几秒开始？GaMMA 让多模态大模型真正「听懂」音乐时间线
现有多模态大模型难以理解音乐时间线。复旦大学与字节跳动团队提出 GaMMA，采用双编码器融合网络，经三阶段训练，还推出 MusicBench 评测基准。实验显示，GaMMA 在多基准上表现优异，刷新 SOTA。
效果、性能双突破，快手OneSug端到端生成式框架入选AAAI 2026
查询推荐是电商搜索关键功能，传统方法有局限。快手提出OneSug端到端生成式框架，统一多阶段，提升效果与效率，成果入选AAAI 2026，已在快手电商全量推广，显著提升多项指标。
当世界模型不止「视频」该如何评估？WorldLens提出实用化评估新框架
生成式世界模型在多领域进展显著，但评估存在局限。WorldBench 团队构建 WorldLens 评测框架，从五个维度评测开源世界模型，其评测 EvalKit 已公开，可暴露模型能力边界与失效模式。
视频生成太慢？英伟达、谢赛宁等发布TMD框架，实现70倍加速
大规模视频扩散模型采样效率低，应用受限。英伟达联合谢赛宁等提出TMD框架，将大型视频扩散模型蒸馏为少步生成器。实验显示，TMD能实现超70倍加速，质量损失小，用户也更偏好其生成的视频。
POF | 西北工业大学宋家豪、张伟伟等：一种基于伴随方法的物理信息神经网络预处理框架
物理信息神经网络（PINNs）在正问题中的病态是其应用于复杂工程问题的局限。该研究设计针对损失函数的预处理框架，通过降低PDE系统条件数缓解PINNs病态，还引入伴随方法解决网络参数梯度缺失问题。
刘壮陈丹琦新作：开源通用视觉推理RL框架，0思考数据刷新SOTA
普林斯顿刘壮团队、陈丹琦参与推出开源通用视觉推理RL框架Vero。它构建的视觉推理器在30多项测试达8B视觉语言模型SOTA，解决了开源RL方案的问题，所有数据、代码、模型均已开源。
智谱发布GLM 4.5，不仅开源模型还把训练框架也开源了
智谱AI发布GLM 4.5，不仅开源模型，还开源整套后训练基础设施。模型规格亮眼，性能也超越qwen 235b。其开源的训练框架slime专为强化学习扩展设计，完整工具链支持多种模型。