「多模态大型语言模型」共找到 1986 篇相关文章
OmniHuman-1.5:让数字人拥有“思考”的视频生成新范式
现有视频数字人模型难捕捉角色本质,字节提出 OmniHuman - 1.5 框架。其核心创新是用 MLLM 提供语义引导、提出多模态 DiT 架构和伪末帧设计,使模型融合多模态信号,生成高质量角色动画。
港科大&北京人形提出LOVON:足式机器人开放世界全域目标追踪新范式!
港科大广州联合北京人形创新中心推出LOVON框架,融合大语言模型、开放词汇视觉检测和语言 - 运动映射模型,解决足式机器人开放世界全域目标追踪难题,有抗干扰视觉处理等优势,性能超传统方法。
微软等提出「模型链」新范式,与Transformer性能相当,扩展性灵活性更好
随着大语言模型发展,扩展 Transformer 架构成趋势,但参数规模增长带来训练负担。微软等研究者提出 CoR 概念,构建模型链学习范式,应用于语言模型得 CoLM 系列,实验显示其性能相当且扩展性、灵活性更好。
将数据优势发挥到极致:「杭州六小龙」开源搭建空间智能的第一步
大模型时代数据支撑至关重要。群核科技在首届TechDay为空间智能发布空间语言模型SpatialLM 1.5和空间生成模型SpatialGen,前者学会空间语言,后者实现场景多视角图像生成且具时空一致性,SpatialGen已开源。
模拟大脑功能分化!北大与港中文发布Fast-in-Slow VLA,让“快行动”和“慢推理”统一协作
北大与港中文研究团队发布 Fast-in-Slow(FiS-VLA)全新双系统视觉 - 语言 - 动作模型,将快速执行模块嵌入预训练视觉 - 语言模型,实现快慢系统一体化。该模型在多平台表现优异,控制频率大幅领先。
AI为啥不懂物理世界?李飞飞、杨立昆:缺个「世界模型」,得学大脑新皮质工作
近来,杨立昆计划离开Meta创立以‘世界模型’为核心的AI公司;此前李飞飞也发文指出大语言模型弊端,强调建立‘世界模型’重要性。该模型源于对大语言模型局限的反思,能让AI理解物理世界。
快来看看GPT-5第一波实测
GPT-5发布引全球关注,50万粉Youtuber Matthew Berman用25分钟视频展示其近30个任务表现,如做出魔方生成器、复刻网页版Word和Excel等。它多项能力有提升,但也有不足,被马斯克质疑,还因‘52>69’名场面遭吐槽。
支持中文!NotebookLM自动生成播客
Google宣布NotebookLM语言摘要功能支持50多种语言,包括中文,可将上传文档转成播客对话形式。以一篇AI进化论文为例展示效果,其音频和内容质量不错,学习输入立体,还能助力AI播客创作。
jina-embeddings-v5-omni 发布!全模态向量小模型
Jina AI发布`jina-embeddings-v5-omni`,将`v5-text`能力拓展到多模态。`v5-omni-small`参数量小却追平LCO - 7B,在多模态评测中表现优异,但视频是短板。其采用‘冻结 + 投影’架构,训练快、省显存。
小鹏加速冲向L4终局:对VLA架构「动刀」成关键一环
在辅助驾驶领域,端到端的VLA方法虽有效果,但面临中间层语言难以准确表达物理世界细节的问题。小鹏汽车去掉“语言转译”环节,推出第二代VLA,有跨代级驾驶体验,背后是底层技术架构重构。