搜索：双向多模态表征模型

「双向多模态表征模型」共找到 1020 篇相关文章

MIT成果登Nature正刊：90天，「AI科学家」完成3500次电化学测试

美国麻省理工学院李巨团队在Nature发表论文，展示多模态机器人平台CRESt。它结合多模态模型驱动的材料设计与高通量自动化实验，大幅提升催化剂研发速度和质量，还解决了实验结果可重复性不足问题。

云栖大会上通义万相2.5系列模型亮相，包含四大模型，视频生成模型实现音画同步突破，降低电影级视频创作门槛。它创作能力全方位升级，支持多种模态输入，采用原生多模态架构。

香港科技大学谭平教授团队与地平线团队发布3D场景表征与大规模重建新方法SAIL - Recon，突破现有模型处理能力瓶颈，可实现万帧级场景表征抽取与定位重建，在多数据集上表现优于现有方法。

北大、字节等团队发现多模态模型先思考后作画会降低图像语义保真度，因自回归架构有误差传播问题。为此提出并行多模态扩散框架MMaDA - Parallel，构建ParaBench基准，多项优化后在测试中击败Bagel。

S-Lab等机构研究员提出Puffin统一多模态模型，它能整合理解相机参数与按参数生成对应视角图片的能力。通过“用相机思考”和400万组数据训练，解决此前模型问题，还构建相关数据集和评测基准，性能出色。

阶跃星辰多模态智能团队开源STEP3-VL-10B多模态模型，仅100亿参数却性能惊人。它采用了独特的架构、训练策略与推理机制，在多任务上表现出色，为小模型发展提供新思路。

7月26日，人工智能教父Geoffrey Hinton与周伯文教授进行17分钟对话，谈及AI多模态大模型前沿、“主观体验”和“意识”等话题。Hinton认为当今多模态聊天机器人已有意识，还探讨了训练善良AI及AI推动科学进步等问题。

本文深入解读“世界模型”，虽无明确定义，但从目的出发分为表征和生成两类。前者含生物大脑、视觉和语言中心预测；后者有基于规则模拟和数据驱动生成。还探讨LLM是否为世界模型，指出各类模型相辅相成。

多模态有害信息检测是网络内容安全治理的重难点，多模态模型在有害内容检测上有瓶颈。剑桥大学团队提出RA - HMD框架，通过两阶段微调与结构增强，结合检索增强，提升检测性能，被EMNLP 2025接收。

北航等机构研究提出自回归奖励引导表征编辑（ARGRE）框架，在LLM潜在表征空间可视化毒性变化路径，实现测试阶段高效“解毒”。实验显示其降低毒性、缩短推理时间，不影响模型能力，优于基线方法。