「统一多模态基础模型」共找到 1751 篇相关文章
Agents统一综述：Harness、记忆、Skills和协议
上交大、中山大学等发表长文对LLM Agents中的记忆、Skills、协议与Harness工程进行统一综述。介绍了从权重到上下文再到Harness能力的三次迁移，阐述记忆、技能、协议系统及Harness工程，还分析了模块间耦合。
毫秒响应延迟！开源统一语音对话模型Voila
Voila是开源统一语音对话模型，能以自发、实时且有情感的方式与人类互动。它采用全新端到端架构，响应延迟仅195毫秒，支持超百万种预构建声音，适用于多种语音应用。
阿里新研究：统一了VLA和世界模型
阿里达摩院等提出WorldVLA框架，融合视觉语言动作模型与世界模型。它用三套分词器编码，解决传统自回归模型问题，经联合训练，实验显示其性能优，两模型还能相互助力。
揭秘超节点，AI算力需要“统一的语言”
AI大模型热潮带动算力行业发展，中国AI芯片崛起，但单颗芯片算力不足、不同设备沟通有障碍成行业难题。华为发布“超节点”架构与“灵衢”技术，搞出“算力普通话”，目标是让算力系统更高效、灵活、省钱。
MoCa：首个大规模双向多模态表征模型
为解决VLM用于嵌入的痛点，中国人民大学等机构研究者提出MoCa框架，可将单向注意力VLM训练成双向多模态编码器。它分两阶段，实验效果好，未来可拓展模态、提升多语言适应等。
视觉感知RAG × 多模态推理 × 强化学习 = VRAG-RL
数字化时代视觉信息愈发重要，传统RAG方法处理视觉信息面临挑战。阿里巴巴通义实验室的VRAG - RL将强化学习引入多模态智能体训练，革新检索生成范式，提升视觉语言模型多方面能力，代码已开源。
The Batch: 931 | 统一视觉媒体的单一分词器
Apple团队开发多维分词器AToken，可将图像、视频、3D对象映射到共享token空间，统一处理视觉媒体。它由预训练编码器和解码器组成，经多阶段训练，在多任务上达或接近先进水平，为视觉模型带来通用性。
谷歌 DeepMind 发布机器人学基础模型 Gemini Robotics On-Device
谷歌 DeepMind 推出 Gemini Robotics On-Device，这是视觉 - 语言 - 行动基础模型，可在机器人硬件本地运行，低延迟且能针对特定任务微调。它是 Gemini Robotics 家族最新迭代，还发布相关基准测试。模型待广泛可用，SDK 可在 GitHub 找到。
MoE RL 实战：统一 FP8 全流程训练
SGLang RL 团队等实现 RL 全流程 FP8 训练与采样，消除训推不一致性。介绍 FP8 硬件基础、格式等，分析训练难点，定位 KL Loss 异常源于量化原理，验证其在 MoE 模型 RL 场景优势，指出模型规模与训推不一致的关联。
英伟达发布统一GPU开发平台DGX Cloud Lepton
英伟达发布专为开发者设计的AI平台DGX Cloud Lepton，可汇聚全球GPU计算资源，提供即时访问和无缝部署能力。它功能强大，支持多环境部署，提供统一体验，还有庞大合作网络。