搜索：音频 - 视觉模型

「音频 - 视觉模型」共找到 7882 篇相关文章

华为诺亚发布ScaleNet：模型放大通用新范式

华为诺亚方舟实验室等团队提出 ScaleNet 方法，创新性地用少量额外参数量将模型深度扩展一倍。结合层级权重共享和轻量级适配器技术，在视觉和语言任务上验证了有效性，提升了模型性能。

360发布FG - CLIP 2双语细粒度视觉语言对齐模型，几乎在所有数据集上全面领先。它能让AI在统一框架内看懂图像细节、理解中英双语，团队还提出新中文多模态评测基准。

字节给豆包升级编程能力，推出首款编程模型Doubao - Seed - Code。它刷新国内编程模型上下文长度，支持视觉理解，API价格良心。经测试，虽未达全球顶尖，但弥补国产编程模型短板。

视觉 - 语言模型在具身环境中表现有局限，港大推出 EmbRACE - 3K 数据集应对。它含 3000 多个任务、2.6 万个决策步骤，有细致多模态注释。团队用其微调 Qwen2.5 - VL - 7B 模型，还建立新基准评估多个模型。

本文深入解读“世界模型”，虽无明确定义，但从目的出发分为表征和生成两类。前者含生物大脑、视觉和语言中心预测；后者有基于规则模拟和数据驱动生成。还探讨LLM是否为世界模型，指出各类模型相辅相成。

xAI的“迄今为止最强大的视频音频生成模型”Grok Imagine 1.0正式全面上线。该模型支持文生视频、图生视频，音频效果出色，还擅长日常趣味创作。其在视频生成和剪辑性能领先，官网可免费玩。

Hugging Face开源全新视觉语言模型框架nanoVLM，仅750行代码就能从零训练高效能VLM模型。它在单张H100 GPU训练6小时后，在MMStar数据集准确率达35.3%，且能在免费Google Colab跑。

今天凌晨微软研究院开源创新音频模型VibeVoice - 1.5B，有诸多技术突破，如可合成90分钟语音、支持4名发言人、3200倍音频压缩等，还首创双tokenizer协同架构。未来微软还会开源更大参数模型。

苹果开源能在 iPhone 上运行的视觉语言模型 FastVLM，代码仓库含 iOS/macOS 演示应用。它速度快，首个 token 输出速度较同类模型提升 85 倍，还兼容主流 LLM，适合边缘设备等场景。

本文介绍了专门测量「主动观察」能力的视觉推理基准 ActiveVision，评测显示无外部工具时，大模型与人类准确率有近 9 倍差距，用工具后虽提升但仍远不如人类，还说明了其出题与避免取巧的方式。