「模态融合」共找到 666 篇相关文章
字节跳动：Apache Doris + AI 一站式融合数据引擎的探索与实践
本文整理自字节跳动 DataMind 负责人演讲，介绍了基于 Apache Doris 打造的一站式引擎 DataMind。它集成 Hybrid Search、AI Function、GraphRAG 等能力，部分成果已贡献开源，还给出企业级 AI 问数落地方案。
腾讯混元最新开源：一套RL框架打通多个模态，庞天宇团队新作
大语言模型的RL技术已成熟，但多模态生成模型的强化学习训练仍“各自为战”，制约AIGC模型能力上限。腾讯混元庞天宇团队开源UniRL框架，打通多模态RL后训练，覆盖多种模型，内置算法与奖励组件。
VeRL-Omni：面向扩散和全模态生成模型的通用RL后训练框架
VeRL-Omni是面向多模态生成模型的通用RL后训练框架，覆盖多种架构。它有高效多模态rollout、灵活奖励引擎等特性，支持多种硬件，团队还验证了不同训练方式，后续将扩展模型与算法支持。
治好多模态近视和走神！上海大学去偏干预显著提升模型性能
多模态大模型存在“近视”和“走神”问题，总是过度关注图像底部而忽略核心内容。上海大学与南开大学研究团队用两条数学公式去偏干预，无需增加计算成本，却能显著提升主流模型视觉理解能力。
从VLA到RoboOmni，全模态具身新范式让机器人察言观色、听懂话外音
复旦大学等联合推出全模态端到端操作大模型RoboOmni，统一多模态，实现动作与语音协同控制。它重新定义机器人交互范式，让机器人具备“察言观色”能力，还构建了OmniAction数据集，实验表现全面领先。
社区供稿 | GLM-4.5技术博客：原生融合推理、编码和智能体能力
文章介绍 GLM-4.5 和 GLM-4.5-Air，二者旨在统一推理、编码和智能体能力。在 12 个基准测试中表现良好，采用 MoE 架构等技术，还开源 slime 框架。文中展示其多方面应用，并说明使用方式。
Meta新突破！跨模态生成告别噪声：流匹配实现任意模态无缝流转
Meta与约翰霍普金斯大学联合推出CrossFlow框架，实现跨模态生成新突破。它基于流匹配提出新范式，无需依赖噪声分布等，在多任务上媲美或超最优算法，训练成本低、速度快，还能适配多任务。
国内首篇！融合语言模型的多模态触觉传感器，推动机器人触觉迈向人类水平
清华大学丁文伯团队联合多机构，受鸽子感知机制启发研发仿生多模态触觉传感器 SuperTac，构建 8.5B 参数触觉语言模型 DOVE，成果发表于《Nature Sensors》，推动机器人触觉迈向人类水平。
精准医疗与AI融合：数据驱动下的个性化健康未来｜甲子引力X
在「2025甲子引力X中国科技产业投资大会」上，5位投资人围绕AI赋能医疗投资的机遇与挑战展开探讨。他们各有投资偏好与见解，还指出风险，最后畅想了AI改造后的健康未来。
产学研深度融合样本：高校教授携手昇腾，共筑AI算力生态基石｜甲子光年
本文对话华南理工大学陆璐教授，他有丰富业界经验，回归学界后聚焦AI算力平台性能优化。其团队与昇腾合作解决性能挑战，成果用于开源与产品集成。陆璐还对算力生态未来给出战略与实操建议。