「多模态框架」共找到 2414 篇相关文章
成本仅0.3美元，耗时26分钟！CudaForge：颠覆性低成本CUDA优化框架
CUDA代码性能对模型训练与推理重要，但手动优化门槛高。明尼苏达大学团队提出CudaForge，是低成本多智能体CUDA Kernel生成与优化工作流，实验效果好，成本低且具通用性。
Discrete Tokenization：多模态大模型的关键基石，首个系统化综述发布
近年来，人们关注将LLM能力扩展至非文本模态，Discrete Tokenization成关键方案。但现有研究缺系统总结，香港科技大学等团队发布首个相关系统化综述，梳理技术脉络、方法及挑战，给出未来研究方向。
具身智能体操作系统PhyAgentOS，赋能全球Physical AI 技术挑战赛冠军
2026年4月27日，中山大学HCP实验室研发的PhyAgentOS开源框架，助力11岁开发者Arjun获全球Physical AI技术挑战赛冠军。该框架降低开发门槛，打通执行闭环，加速具身智能落地。
答对了却没看图？EASE给多模态RLVR装上「视线校正器」
强化学习与可验证奖励提升视觉语言模型推理能力，但存在答案奖励只知对错、不知证据区域问题。哈工大等团队提出EASE，把标注证据区转为目标分布，监督空间注意力，推理无额外标注，实验成绩优异。
多模态推理新范式！DiffThinker：用扩散模型「画」出推理和答案
上海人工智能实验室等团队提出全新生成式多模态推理范式，发布模型 DiffThinker。它打破传统定式，以图像到图像生成任务重构推理过程，在多项复杂任务中表现优于顶尖闭源模型，有四大核心特性。
Jina 第4版：多模态向量检索，统一适配，挑战3大任务
Jina第4版基于Qwen2.5 - VL模型扩展，支持单向量和多向量输出。它经对比学习和任务特化训练，推理时可按需选LoRA适配器，能利用多模态处理能力优化不同任务性能。
GPT-5准确率不足40%！北大发布多模态、高难度化学基准SUPERChem
北大团队发布多模态、高难度化学基准SUPERChem，构建评估大语言模型化学推理能力新体系。测试显示，GPT - 5准确率仅38.5%，与低年级本科生相当，且模型在高阶推理有短板，该基准为模型优化指明方向。
谢赛宁、李飞飞、LeCun联手提出多模态LLM新范式，「空间超感知」登场
纽约大学助理教授谢赛宁与李飞飞、Yann LeCun 合作提出「Cambrian - S」，迈出视频空间超感知探索第一步。该研究引入 VSI - Super 基准，还提出预测性感知范式，在空间认知任务上有提升，相关论文值得视频多模态研究者参考。
一文讲清三种AI应用系统的架构及及TOP威胁框架
文章从AI系统分类及架构出发，分析不同类型AI系统的威胁特征，并介绍现有的威胁分析框架。目前AI应用架构经历从GenAI到AI Agents，再到Agentic AI的演进，各方向独立发展，且威胁各有特点又有重合。
工程师狂喜！Qwen3-VL 检索双雄效率翻倍
通义大模型开源Qwen3-VL-Embedding和Qwen3-VL-Reranker，解决多模态检索难题。两模型多模态全兼容，双塔+单塔协同提速，实用主义拉满，集成成本低，实战表现超预期。