搜索：多模态提示框架

「多模态提示框架」共找到 2825 篇相关文章

原生理解生成统一：商汤开源SenseNova U1，用统一架构终结「缝合怪」多模态

商汤开源日日新 SenseNova U1 系列原生理解生成统一模型，采用 NEO-unify 架构，只需 8B 小参数就能实现很多商业闭源模型效果。在多测评维度性能领先，还能实现连续性图文创作输出，解决理解与生成断层问题。

大模型常采用RAG技术，多模态崛起使RAG向MM - RAG发展。目前MM - RAG研究初级，华中科技大学等研究者发布综述，覆盖所有模态组合，剖析工作流，提供构建系统的一站式指南。

清华大学丁文伯团队联合多机构，受鸽子感知机制启发研发仿生多模态触觉传感器 SuperTac，构建 8.5B 参数触觉语言模型 DOVE，成果发表于《Nature Sensors》，推动机器人触觉迈向人类水平。

多模态长文档视觉问答常见于科研论文等场景，现有技术路线有大视觉 - 语言模型直接端到端和检索增强生成，但各有缺点。MMRAG - DocQA引入新方案，解决多模态连接和跨页证据链接问题。

Andrej Karpathy 认同Shopify CEO关于「上下文工程」的观点。它指为大语言模型提供恰当信息和工具，比提示词工程更重要。文章介绍其概念、与提示词工程区别，及写入、筛选等落地策略。

上海人工智能实验室等单位提出SurveyForge框架，能自动化生成高质量学术综述论文。它有双数据库协同驱动的大纲生成机制、学者导航代理SANA和并行生成与协调机制。还有SurveyBench评估框架，实验显示其效果好，应用前景广。

南洋理工大学团队提出MonoArt，将单目可动物体重建建模为渐进式结构推理过程，通过四个关键模块逐步推理，无需外部先验，在PartNet - Mobility基准测试中表现领先，兼顾推理效率，还可用于下游任务。

当下大模型能力多靠人为框架，能力上限受限。文章提出“启发学习”，将其集成到推理侧成Isaac框架，通过Prompt与网络层注入复用旧经验，实验显示能大幅提升大模型任务性能。

上海大学曾丹团队研究发现，主流VLM中attention受位置偏置和padding区域异常高attention影响，直接用其进行视觉token剪枝会丢失关键信息。团队用公式对attention去偏，集成到多种剪枝方法，提升了模型性能。

前几天DeepSeek R1悄悄更新，作者测评发现，起初用复杂提示词，它比Claude4有明显差距；换成一句话提示词，生成效果质的飞跃，代码能力大幅提升接近Claude4，写作小提升，数学能力提升不大。