搜索：多模态提示框架

「多模态提示框架」共找到 2825 篇相关文章

全能高手&科学明星，上海AI实验室开源发布『书生』科学多模态大模型Intern-S1 | WAIC 2025

7月26日，上海AI实验室在WAIC 2025上发布并开源『书生』科学多模态大模型Intern-S1。它首创‘跨模态科学解析引擎’，在多学科专业任务上超越顶尖闭源模型，多模态综合能力领先主流开源模型。

腾讯ARC Lab等机构提出全新视觉分词器TokLIP，将低级视觉Token与高级CLIP语义结合，支持端到端自回归训练，可接入LLM框架，降低计算与数据门槛，在多模态任务中表现优异，代码已开源。

深度生成模型内部运作如「黑箱」，潜变量意义难捉摸。埃默里大学团队提出LatentExplainer框架，经数据扰动、智能提示、不确定性评估三步，为潜变量生成易懂解释，提升模型解释质量与可靠性。

阶跃星辰推出并行协同推理框架PaCoRe，让大模型突破上下文窗口和处理速度限制。基于此框架，小模型能解锁百万级Token测试时计算。PaCoRe - 8B在数学基准测试中超越GPT - 5，还具备前沿性能、“综合”能力涌现等优势。

来自中山大学等的研究者提出SeePhys Pro，是面向多模态物理推理的细粒度评测与训练诊断框架。发布了benchmark、训练集等，测评显示当前模型在信息模态转变时不稳定，为模型评测和训练研究提供基础。

Pixeltable是统一声明式框架，能处理多模态AI流水线。它用表格接口替代传统复杂架构，有数据统一管理等核心能力，适用于多模态RAG等场景，内置支持主流AI服务，值得多模态AI项目一试。

谢赛宁团队新发布的Blender Fusion框架，结合图形工具 (Blender) 与扩散模型，让视觉合成不再仅依赖文本提示，实现精准画面控制。其核心是对现有技术高效组合，还透露两项训练技巧提升泛化性。

随着大型语言模型发展，提示工程成关键技能。文章介绍零样本提示、少样本提示等七种提示优化模式，分析适用场景、优缺点，还给出示例，最后总结各技术适用场景及最佳实践。

清华朱军等团队提出多模态生成框架 UniCardio，在单扩散模型中实现心血管信号去噪、插补与跨模态生成。它采用扩散模型和 Transformer 架构，结合持续学习范式，实验表现优，有望用于多领域。

多模态大模型训练常采用‘题海战术’，存在能力诊断不精准、视觉内容缺乏扩展等问题。北大和山大团队提出DPE框架，通过‘诊断-生成-强化’闭环提升模型能力，实验效果显著，还强调训练应具备诊断能力。