搜索：音频 - 视觉模型

「音频 - 视觉模型」共找到 7886 篇相关文章

“通用大模型微调成为行业模型是伪命题”？医疗 AI 深度重构，传神语联创始人何恩培：孪生智能体能砍 70% 线下复诊工作

本文为《2025年度盘点与趋势洞察》系列内容，传神语联创始人何恩培认为通用大模型微调成行业模型是伪命题。他表示孪生智能体能砍70%线下复诊工作，还分享了医疗AI发展、中医和西医落地方向及突破方向等见解。

阿里云栖大会发布众多模型，有Qwen3 - Max、Wan2.5等。Qwen3 - Max对标顶尖模型；Wan2.5支持音画同出；Qwen3 - VL是强大视觉语言模型且已开源；Qwen3 - Omni是全模态模型。此外还有多个新模型，构建全场景生态。

当前视觉语言模型（VLM）像‘视力好但数学差的学生’，论文指出问题根源是数据不足和能力分布不均。提出‘模型合并’方案，实验显示在数学基准测试中表现亮眼，还通过实验揭示层间能力分布。

音频驱动的动态人脸生成研究较少，昆仑万维提出SkyReels - Audio框架，基于预训练视频扩散变换器构建，支持无限长度视频生成与编辑，采用混合课程学习等策略，保障视频视觉保真度和时间一致性。

南洋理工和清华团队提出新框架AudioTrust，将ALLMs评估扩至六个核心维度，探究音频模态特有问题。目前基准及平台已开发，揭示了开源与闭源ALLMs在多维度的潜在风险。

中国科学技术大学等多机构研究者发表综述，梳理超500篇论文，揭示扩散模型视觉内容合成“一致性危机”，介绍三类一致性关系、加强位置、评估问题，指出未来模型需具备冲突感知等能力。

统一多模态模型在视觉理解和生成能力上不平衡，常理解强但生成弱。本文提出重建对齐（RecA）自监督后训练方法，不改动架构，用未标注图像训练，在多模型实验中提升性能，部分达SOTA。

多模态大模型训练常采用‘题海战术’，存在能力诊断不精准、视觉内容缺乏扩展等问题。北大和山大团队提出DPE框架，通过‘诊断-生成-强化’闭环提升模型能力，实验效果显著，还强调训练应具备诊断能力。

文章围绕大模型LLM推理优化技术展开，先介绍LLM推理各阶段、批处理、KV缓存等概念及内存需求，再阐述模型并行、注意力机制优化、模型优化和模型服务等技术，如Pipeline并行、MQA、量化、动态批处理等。

7月23日，“AI大神”李沐开源音频基础模型Higgs Audio v2，构建于Llama - 3.2 - 3B之上，预训练数据丰富。该模型在多个测评中成绩领先，有多种能力，李沐介绍其技术及训练方法。