搜索：多模态Scaling范式

「多模态Scaling范式」共找到 1975 篇相关文章

IBM推出轻量多模态文档神器！OCR与QA超GPT-4o，识别率高达98%！

日常文档处理麻烦，现有工具或体积大、算力消耗高，或识别精度不够。IBM 开源轻量多模态文档处理模型 Granite - Docling，仅258M参数，性能超 GPT - 4o，适用于多场景。

英伟达开源能让机器人持续成长的技能库ASPIRE，类似机器人版Coding Agent，会沉淀机器人操作经验。英伟达机器人主管Jim Fan称其代表全新持续学习范式，论文实验验证其效果好于此前方法。

北大王选所彭宇新团队在论文中提出TARA方法，引入生物分类学知识与多模态模型中间表征对齐。实验显示，TARA能提升模型层级识别和未知类别识别能力，还可加速训练收敛，计算开销小。

YuanLab.ai团队开源源Yuan3.0 Ultra多模态基础大模型，是万亿级开源多模态大模型之一。它优化训练效率，在多任务表现突出，为企业Agent AI提供支撑，还提出新算法和训练策略，全面开源推动落地。

金融科技智能化转型中，LVLM部署受算力瓶颈制约。哈工大与度小满联合开源EFFIVLM - BENCH基准测试框架，能为多模态大模型压缩方案出具‘体检报告’，还揭示LVLM加速复杂性，推动技术发展。

现有 MLLM 依赖文本处理视觉信息，会造成信息丢失。剑桥、伦敦大学学院、谷歌团队提出视觉规划范式，以强化学习框架 VPRL 提升模型规划能力，实验显示其性能优于文本规划。

研究训练新能量模型 EBT，为输入和预测分配能量值，模拟思考过程。它有跨模态、跨任务通用性，训练扩展率比 Transformer++ 高 35%，推理性能提升 29%，还在多任务中表现出色，是扩展模型能力新范式。

多模态大模型迅速发展，但能否理解人类情绪存疑，且缺乏系统性评测框架。香港中文大学和阿里通义实验室团队提出 MME - Emotion 评测基准，评测 20 个主流模型，发现模型情感智能不足，为后续研究提供参考。

有“多模态卷王”之称的阶跃星辰，自研多模态模型，早期商业存储系统难满足需求，后引入 JuiceFS。文章介绍大模型各环节存储需求，详述 JuiceFS 企业版与社区版优化实践，含模型分发、读性能等优化。

当地时间6月23日，Anthropic上线Claude Tag，可接入Slack用于多人协同办公。前OpenAI大神Karpathy盛赞其为交互新范式。不过它也引发隐私担忧，且对“套壳产品”不利，或利好开源模型。