搜索：视觉世界模型

「视觉世界模型」共找到 8094 篇相关文章

无需训练！让VLM同时具备「视觉」与「推理」能力，数学题得分暴涨30%

当前视觉语言模型（VLM）像‘视力好但数学差的学生’，论文指出问题根源是数据不足和能力分布不均。提出‘模型合并’方案，实验显示在数学基准测试中表现亮眼，还通过实验揭示层间能力分布。

过去基础模型主要理解和描述物理世界，如今开始进入机器人控制栈。Meta等提出HumanCLAW，将高层行动与低层运动控制分开。评测显示当前模型在行动决策上存在不足，未来可从多方向推进研究。

百川智能发布并开源全球最强医疗模型Baichuan - M3，各项指标SOTA且超越人类医生平均水平。它告别机械‘背医书’，学会主动追问、排查病因，解决AI‘胡说八道’问题，准确度超GPT - 5.2 - High。

OpenAI发布图像生成模型GPT - Image - 1.5，有更严谨指令遵循、精确编辑等亮点，速度快4倍。玩法类似Nano Banana，在指令遵守和精确编辑上有提升，将在ChatGPT面向所有用户推出，价格下降。但在世界理解能力上遭质疑。

人大、清华和腾讯合作发布Crab论文，目标是实现多模态场景理解任务的高效一统。它针对音频 - 视觉理解模型难点提出解决方案，构建数据集、设计LoRA结构、统一架构，训练分预训练和指令调整两阶段。

中国科学技术大学等多机构研究者发表综述，梳理超500篇论文，揭示扩散模型视觉内容合成“一致性危机”，介绍三类一致性关系、加强位置、评估问题，指出未来模型需具备冲突感知等能力。

统一多模态模型在视觉理解和生成能力上不平衡，常理解强但生成弱。本文提出重建对齐（RecA）自监督后训练方法，不改动架构，用未标注图像训练，在多模型实验中提升性能，部分达SOTA。

2023年Meta推出SAM，后SAM 2扩展到视频分割。近日，SAM 3现身ICLR 2026盲审论文，带来「基于概念的分割」新范式，强调按「语义概念」理解和分割图像，还构建数据引擎提升性能。

多模态大模型训练常采用‘题海战术’，存在能力诊断不精准、视觉内容缺乏扩展等问题。北大和山大团队提出DPE框架，通过‘诊断-生成-强化’闭环提升模型能力，实验效果显著，还强调训练应具备诊断能力。

文章围绕大模型LLM推理优化技术展开，先介绍LLM推理各阶段、批处理、KV缓存等概念及内存需求，再阐述模型并行、注意力机制优化、模型优化和模型服务等技术，如Pipeline并行、MQA、量化、动态批处理等。