搜索：多模态推理模型

「多模态推理模型」共找到 8528 篇相关文章

字节开源了一款多模态神器！BAGEL上线，超越Qwen2.5-VL，媲美SD3！

多模态AI发展进入新阶段，字节跳动开源通用多模态大模型BAGEL。它支持多模态输入输出与思维链推理，性能超Qwen2.5 - VL等，安装使用友好，有多种应用场景。

多数大模型评估基准依赖固定数据集，难测真实推理实力。字节跳动等推出的 FutureX 动态评测基准，将重点移至动态预测能力。实验显示不同模型在不同任务表现有别，大模型在现实场景运用仍待优化。

本文整理自金煜阳博士在QCon大会分享。介绍大模型推理挑战，如规模增大、架构复杂。阐述算子优化、内存管理、量化、异构调度和并行优化方法，还介绍开源推理引擎赤兔在国产芯片的实践成果。

有“多模态卷王”之称的阶跃星辰，自研多模态模型，早期商业存储系统难满足需求，后引入 JuiceFS。文章介绍大模型各环节存储需求，详述 JuiceFS 企业版与社区版优化实践，含模型分发、读性能等优化。

文本领域推理模型成就大，但多模态大型语言模型推理能力扩展遇阻，如冷启动初始化不足等。提出SRO三阶段训练框架，经测试，ReVisual - R1平均性能提升16.8%。

在 InfoQ 举办的 AICon 大会上，vivo AI 架构师王兆雄分享多模态大模型训练经验。介绍了 LLaVA 和 DiT 模型训练挑战，从数据处理、模型计算等方面提出优化策略，还展望 AI Infra 未来发展方向。

多图像、长视频让大型视觉语言模型推理成本暴涨，成算力瓶颈。腾讯AI Lab联合CMU提出VScan，通过两阶段视觉token筛选机制，在几乎不损性能的前提下实现推理加速，且已在GitHub开源。

北邮研究团队通过思维链审计实验，揭示大模型长链推理‘越想越错’现象背后的元认知偏差。研究基于RFC协议文档构建受控知识域，分析推理过程，发现反思会加重幻觉，且现有检测方法难以应对。

本文介绍发表于Nature Machine Intelligence的最新研究，系统探究语言模型与人脑推理表征的对应关系，验证人脑信号可引导提升语言模型推理鲁棒性，为脑启发AI提供了新研究路径。

2024年以来，大模型在推理任务上进展显著，得益于RLVR方法，但面临“熵困境”。研究团队提出选择性熵正则化方法（SIREN），通过三重机制精准调控探索行为，实验证明其能提升模型推理成绩。