「多模态文档处理」共找到 2012 篇相关文章
DeepSeek多模态新范式：一张图压缩7056倍，思考能力反超GPT和Claude
DeepSeek上线多模态并开源新范式技术。该研究让AI用视觉原语思考，弥合语言与视觉指代鸿沟。它构建紧凑模型架构，信息压缩率达7056倍，训练分三阶段，测试中表现出色，也存在局限。
Deepseek V4 Pro发布，除了多模态，满足我对模型的所有想象
DeepSeek官方文档更新模型日期，意味着DeepSeek V4 Pro正式版来临，已在官方API提供。它采用MoE设计，接口能力强，Agent能力得到大幅强化，评测成绩亮眼，价格实惠且有API兼容性，不过有并发限制，近期还将上调价格。
多模态扩散模型开始爆发，这次是高速可控还能学习推理的LaViDa
近期基于扩散模型的视觉 - 语言模型 LaViDa 出现，它继承扩散语言模型优点。与自回归模型不同，扩散模型能并行、处理双向上下文。LaViDa 在多任务测试有竞争力，推理蒸馏和文本填空表现好，还能权衡速度与质量。
Gemini新手教学
最近Google推出教育优惠，可免费使用15个月含Gemini Advanced等在内的AI产品。作者分享使用Gemini经验，指出其在上下文长度和生态打通方面优于ChatGPT，老牌厂商家底足，OpenAI下半场有压力。
阿里开源PromptEcho：用冻结多模态大模型为文生图训练提供高质量Reward
阿里团队提出PromptEcho方法，无需标注和训练reward模型，仅通过冻结多模态大模型（VLM）的一次前向推理获高质量reward。实验显示其在文生图和电商海报文字渲染任务效果佳，且已开源相关代码等。
原生理解生成统一：商汤开源SenseNova U1，用统一架构终结「缝合怪」多模态
商汤开源日日新 SenseNova U1 系列原生理解生成统一模型，采用 NEO-unify 架构，只需 8B 小参数就能实现很多商业闭源模型效果。在多测评维度性能领先，还能实现连续性图文创作输出，解决理解与生成断层问题。
迎接「万物皆可RAG」时代：最新综述展示50多种多模态组合的巨大待探索空间
大模型常采用RAG技术，多模态崛起使RAG向MM - RAG发展。目前MM - RAG研究初级，华中科技大学等研究者发布综述，覆盖所有模态组合，剖析工作流，提供构建系统的一站式指南。
国内首篇！融合语言模型的多模态触觉传感器，推动机器人触觉迈向人类水平
清华大学丁文伯团队联合多机构，受鸽子感知机制启发研发仿生多模态触觉传感器 SuperTac，构建 8.5B 参数触觉语言模型 DOVE，成果发表于《Nature Sensors》，推动机器人触觉迈向人类水平。
多模态大模型中Attention机制暗藏「骗局」，需用一个公式修正丨上大×南开
上海大学曾丹团队研究发现，主流VLM中attention受位置偏置和padding区域异常高attention影响，直接用其进行视觉token剪枝会丢失关键信息。团队用公式对attention去偏，集成到多种剪枝方法，提升了模型性能。
7,700+ star 微软 SkillOpt 可以训练的Skill
微软研究院开源了SkillOpt（7700+ star），把Skill文档当成‘可训练的权重’来优化。它有独特的6阶段流水线、核心验证门控、Protected Regions机制，还有SkillOpt - Sleep预览功能，让Skill文档可系统化训练。