搜索：多模态框架 - AI Reading Hub

「多模态框架」共找到 2414 篇相关文章

下载量超 1300 万，昇思 MindSpore：AI 框架迈入“超节点时代”

开源五周年，昇思 MindSpore 成绩亮眼，下载量超 1300 万。它完善大模型、部署、科学计算等核心能力，还提出 HyperParallel 架构应对新挑战，正式版及套件明年上半年发布，未来社区将多方向推进。

上周智谱多模态开源周，从GLM 4.6v到Autoglm，其图文并排使用场景很吸睛。上传PDF论文，它能生成图文混排解读文章，效果好。作者逆向原理复刻代码，还分享GLM 4.6V三个有意思的能力。

人大和蚂蚁的 SearchOS 研究，给出搜索智能体在长程任务中问题的答案。它借鉴数据库理念，做了多项核心设计，在开放信息检索基准评测领先，已提供多种使用方式，值得长程调研尝试。

近日，中山大学、香港中文大学等团队发布研究成果ProEdit。它通过对注意力机制和初始噪声潜在分布处理，实现高精度图像与视频编辑，无需训练、即插即用，解决编辑效果与一致性平衡难题。

英伟达推出全模态大语言模型 OmniVinci，架构有三大创新。OmniVinci - 9B 模型表现亮眼，多测试中大幅超 Qwen2.5 - Omni，且训练量仅为其六分之一。其架构经多阶段流程实现全模态理解，还支持多种功能。

在大模型深度研究中，高质量数据是短板。近日，智源研究院发布首个面向深度研究的开源数据集InfoSeek，提出「扩散 - 回溯」数据合成方法，用3B模型在基准测试中接近商业模型表现，且数据集可扩容。

BLIP3 - o致力于统一图像理解和生成，提升生成质量与效率。它融合自回归和扩散模型，采用CLIP + Flow Matching架构等。经训练，在图像理解和生成任务表现佳，指令微调效果显著。

BLIP3 - o致力于统一图像理解和生成、提升生成质量和效率。它融合自回归与扩散模型，采用CLIP + Flow Matching架构等技术亮点。经训练，在图像理解和生成任务表现出色，指令微调效果显著。

6月12日小米Darwin Agent Team发布论文《HarnessX》，用“系统自进化”终结Harness人工调优时代，带来性能跃升。其让Harness成为“一等公民”，有可组合等特质，还能与模型协同进化，虽有局限但成热门方向。

中科院自动化所等团队提出VHR方案，通过“视觉神经增强”机制放大模型视觉关键注意力头输出，降低幻觉现象。此前主流方法多作用于最终输出阶段，VHR深入干预内部机制，还介绍了SSL语义引导方法。