多模态视觉作品」共找到 1464 篇相关文章

开源动态8

登顶行业SOTA的多模态视频生成标杆,昆仑天工刚给开源了

昆仑天工发布的多模态视频生成模型SkyReels-V3正式开源。它能文生视频、图生视频等,效果逼真。该模型针对现有AI视频问题实现多方面技术突破,且昆仑天工在模型和产品层面均有深厚积累。

量子位
算法论文7

无需训练!让VLM同时具备「视觉」与「推理」能力,数学题得分暴涨30%

当前视觉语言模型(VLM)像‘视力好但数学差的学生’,论文指出问题根源是数据不足和能力分布不均。提出‘模型合并’方案,实验显示在数学基准测试中表现亮眼,还通过实验揭示层间能力分布。

深度学习自然语言处理
算法论文7

AI能否「圣地巡礼」?多模态大模型全新评估基准VIR-Bench来了

来自日本高校和企业团队提出多模态大模型评估基准 VIR-Bench,用于评测 AI 对旅行视频中地理位置与时间顺序的理解。它将任务拆解,构建数据集,实验显示模型虽有改进但性能远未达标,指明了大模型进化方向。

机器之心
开源动态8

真实科研水平集体不及格!全新基准SFE给主流多模态LLM来了波暴击

上海人工智能实验室AI4S团队推出SFE评测基准,首创三级评估体系,涵盖五大科学领域66项任务。评测显示主流MLLMs在高阶科学任务有挑战,不同模型、学科表现有差异,还构建了SciPrismaX平台推动AI科学评估生态发展。

机器之心
开源动态8

腾讯混元最新开源:一套RL框架打通多个模态,庞天宇团队新作

大语言模型的RL技术已成熟,但多模态生成模型的强化学习训练仍“各自为战”,制约AIGC模型能力上限。腾讯混元庞天宇团队开源UniRL框架,打通多模态RL后训练,覆盖多种模型,内置算法与奖励组件。

量子位
算法论文7

VQA高分是在看图,还是在记答案?ReKey只更新决定答案的那一小块

视觉问答模型准确率提升,但高分可能源于记忆。浙江大学等团队提出 ReKey,保留真实场景,只更新决定答案的视觉线索,使评测面向未见过内容,且多数环节可自动完成。

机器之心
产品应用7

全球首个跨本体、跨视角、多模态物理世界模型,CurrentWorld-0 来了!

Current Robotics 发布跨本体、多模态物理世界模型 CurrentWorld-0,它从真实数据学规律,整合跨本体、多视角和力触预测,可评测机器人,解决动作可控性等问题,让评测成训练数据入口。

机器之心
开源动态7

VeRL-Omni:面向扩散和全模态生成模型的通用RL后训练框架

VeRL-Omni是面向多模态生成模型的通用RL后训练框架,覆盖多种架构。它有高效多模态rollout、灵活奖励引擎等特性,支持多种硬件,团队还验证了不同训练方式,后续将扩展模型与算法支持。

机器之心
新闻资讯7

Meta出走华人创业团队,种子轮800万美元,要打造视觉AI记忆大脑

由前Meta顶尖科学家创立的Memories.ai获800万美元种子轮融资。其大视觉记忆模型LVMM解决AI‘记忆缺失’问题,在多领域刷新SOTA基准,应用潜力大,还开放API及网页应用。

机器之心
算法论文8

RAG 2.0 深入解读

文章深入解读RAG 2.0,指出其虽在多行业落地,但面临多模态处理、检索质量等挑战。还介绍架构升级,阐述检索、重排序等关键技术,最后探讨统一多模态大模型、安全等发展方向及挑战。

阿里云开发者