搜索：全模态统一建模

「全模态统一建模」共找到 815 篇相关文章

Speech LLM 的下一个突破口：你的语音大模型可以是个「带韵律的文本模型」

语音大模型存在‘模态代沟’致性能‘降智’，此前两波改进未根本解决。香港中文大学论文提出TextPro - SLM架构，从输入端破局，仅用约1000小时数据就实现低‘模态代沟’，对多模态模型设计有启发。

S-Lab等机构研究员提出Puffin统一多模态模型，它能整合理解相机参数与按参数生成对应视角图片的能力。通过“用相机思考”和400万组数据训练，解决此前模型问题，还构建相关数据集和评测基准，性能出色。

蚂蚁集团推出全模态通用AI助手灵光，最快30秒生成私人定制小APP，可编辑交互分享。实测其功能丰富且专业，实现多模态输出和多智能体协作。还对比了与千问区别，介绍蚂蚁AGI布局。

AI视频生成中，依赖抽象语义控制的创作因缺乏统一条件表征而困难。字节与港中文团队提出Video - As - Prompt框架，引入‘视频参考’范式，实现抽象语义下可控视频生成范式统一，代码和数据集已开源。

近年来，大型语言模型虽能力强但有局限，研究者构建基于LLM的智能体系统。此综述论文提出系统、统一分类法梳理智能体推理框架，建立统一描述语言和通用算法，分析其在不同场景表现与评估方法。

随着大模型应用成本与延迟问题凸显，腾讯混元升级 AngelSlim 训练框架，将投机采样技术拓展至全模态场景。它以 Eagle3 架构让推理速度最高飙升 1.9 倍，还具全模态训练、面向部署等亮点，有开源代码。

1月9日9:30，MiniMax于港交所上市，截稿时股价疯涨近80%。该公司仅用约5亿美元便让全模态模型进入国际第一梯队，员工平均年龄29岁。其以低投入、高产出及全球化业务，展现了中国AI的实力与潜力。

终身行人重识别有重要应用价值，但现有方法在学习特定模态新知识时，会阻碍跨模态公共旧知识保留。北大彭宇新团队提出CKDA方法，解耦并净化不同模态信息，实现跨模态知识权衡，在相关基准上取得最优性能。

字节UXO团队设计并开源统一框架USO，解决图像生成多指标一致性问题。它能统一看似孤立任务，实现单任务和组合任务的SOTA，弥补了主体保持和风格迁移短板，性能领先，还采用新范式及算法。

英伟达推出全模态大语言模型 OmniVinci，架构有三大创新。OmniVinci - 9B 模型表现亮眼，多测试中大幅超 Qwen2.5 - Omni，且训练量仅为其六分之一。其架构经多阶段流程实现全模态理解，还支持多种功能。