搜索：多模态视觉语言模型

「多模态视觉语言模型」共找到 2249 篇相关文章

大语言模型离“数学证明高手”还有多远？斯坦福、伯克利、MIT 团队提出 IneqMath 评测标准

现在很多大语言模型常给出看似正确的结论，但推理过程却有问题。斯坦福、伯克利和MIT团队提出新思路，构建IneqMath数据集及‘AI数学裁判系统’，研究发现很多模型推理不严谨，还给出两个提升准确率的办法。

IDEA研究院团队用3B参数的Rex - Omni打破MLLM目标定位精度僵局。它统一视觉任务，结合坐标编码与强化学习，在多项检测基准超Grounding DINO等，解决定位和行为缺陷，为MLLM成下一代检测模型提供方案。

近日，Cloudflare发布第六版Radar年度回顾报告。显示全球互联网流量增长19%，Googlebot爬取引流比攀升，后量子加密普及，Go语言客户端发起API请求占比近翻倍，还提及各类网络技术及事件情况。

Google DeepMind推出开源嵌入模型EmbeddingGemma，专为本地设备高效运行设计。它用Matryoshka方法和量化感知训练，提升效率。在MTEB测试中成绩佳，支持百余种语言，内存占用少，已集成多种工具。

随着文本领域思维链推理机制成功应用，研究者将其引入视觉理解任务。现有模型有局限，本文提出UV - CoT新框架，设计无监督数据生成与偏好优化机制，提升模型能力，摆脱对人工标注依赖。

现有多模态大模型benchmark对逻辑推理理解不足，复旦大学等单位提出MME - Reasoning评估其推理能力。对30 + 模型评测，最优得分仅60%左右，反映出模型多方面推理短板。

在 InfoQ 举办的 AICon 大会上，vivo AI 架构师王兆雄分享多模态大模型训练经验。介绍了 LLaVA 和 DiT 模型训练挑战，从数据处理、模型计算等方面提出优化策略，还展望 AI Infra 未来发展方向。

现有强化学习工作将语言模型作整体策略优化，研究提出以策略视角审视内部隐藏状态，分析层级和模块级策略，发现不同模型模式差异，还提出自底向上强化学习策略，为研究架起新桥梁。

谢赛宁等团队推出统一多模态模型Blip3 - o，用扩散Transformer生成CLIP图像特征，采用顺序预训练策略。对比多种设计方案，确定CLIP + Flow Matching最佳，模型在多任务测试表现卓越且全开源。

Anthropic突然发布Claude Opus 4.7，重点提升软件工程能力，视觉能力也大幅跃升。指令遵循能力实质性提升，记忆能力改善。还同步上线新功能，升级前需关注分词器和token输出变化。