搜索：多模态指令数据合成

「多模态指令数据合成」共找到 3383 篇相关文章

原生理解生成统一：商汤开源SenseNova U1，用统一架构终结「缝合怪」多模态

商汤开源日日新 SenseNova U1 系列原生理解生成统一模型，采用 NEO-unify 架构，只需 8B 小参数就能实现很多商业闭源模型效果。在多测评维度性能领先，还能实现连续性图文创作输出，解决理解与生成断层问题。

KDD Cup 2026 发布 Data Agents for Complex Data Analysis 赛道，由香港科技大学（广州）和清华大学联合承办。旨在推动 AI 告别人工干预，具备自主任务分解等能力，还推出 DataAgent - Bench 测试平台，有丰厚奖励，公布关键时间节点。

大模型常采用RAG技术，多模态崛起使RAG向MM - RAG发展。目前MM - RAG研究初级，华中科技大学等研究者发布综述，覆盖所有模态组合，剖析工作流，提供构建系统的一站式指南。

复杂科学文献中公式识别问题重要，但现有模型有局限。DocTron - Formula通过简单微调在多场景达先进水平，还引入CSFormula数据集。它基于Qwen2.5 - VL微调，在多个数据集上效果佳。

清华大学丁文伯团队联合多机构，受鸽子感知机制启发研发仿生多模态触觉传感器 SuperTac，构建 8.5B 参数触觉语言模型 DOVE，成果发表于《Nature Sensors》，推动机器人触觉迈向人类水平。

OpenAI花1亿美金买Torch做「数据转接头」，想让ChatGPT成全科医生；Claude用超长文本窗口处理医学文献和数据。而NVIDIA投10亿与药企建实验室，用BioNeMo重写生命，开启药物生成新纪元。

多模态长文档视觉问答常见于科研论文等场景，现有技术路线有大视觉 - 语言模型直接端到端和检索增强生成，但各有缺点。MMRAG - DocQA引入新方案，解决多模态连接和跨页证据链接问题。

OpenAI和Databricks深度合作，将把GPT - 5等模型原生集成到Databricks平台。企业可在自有数据环境运行模型，通过SQL等调用，Mosaic AI Gateway保障数据安全，多家企业表示期待。

复旦大学团队提出基于部首和象形分析的可解释甲骨文破译框架，构建PD - OBS数据集。该框架在公开基准数据集上准确率高，零样本破译能力强，还能为未破译甲骨文输出可解释分析文本，助力考古工作。

强如Claude也现诸多bug，如分不清发言角色，把恶意注入指令当用户请求。技术根源是Transformer架构注意力机制盲区。网友给出避坑方案，还吐槽Claude算力调整、计费乌龙等问题。