搜索：多模态语音理解大模型

「多模态语音理解大模型」共找到 1763 篇相关文章

社区供稿 | Jina Embeddings V4: 为搜索而生，多模态多语言向量模型

Jina AI发布多模态向量模型jina-embeddings-v4，参数38亿，能同步处理文本与图像。内置LoRA适配器强化检索等任务表现，在多基准测试中展现顶尖性能，支持单/多向量表示。介绍了架构、上手指南等。

卡卡字幕助手（VideoCaptioner）操作简单，无需高配置，支持 API 和本地离线语音识别，利用大语言模型处理字幕。它支持多平台视频下载处理，有专业语音识别引擎，能智能纠错、高质量翻译、调整字幕样式。

AI 在看 README 时理解能力差，被戏称“智商只有三岁”。AGENTS.md 是专门写给 AI 编程智能体的文档格式，已获 10K Star，可助其理解项目，还介绍了与 README.md 的区别、使用方法等。

在AI多模态时代，‘让大模型上手机’成焦点。现有MLLM在手机端部署有难题，vivo AI研究院等团队提出GenieBlue方案，绕开MoE架构限制，在骁龙8 Elite芯片手机流畅运行，保持语言性能同时实现多模态表现。

近年来交互式数字人视频生成受关注，但实时处理多模态输入有挑战。快手可灵团队提出MIDAS框架，基于LLM驱动的自回归模型，结合轻量级扩散头，实现低延迟、交互式多模态控制，还构建大规模数据集等。

Meta发布首个AI模型Muse Spark，是多模态推理模型，在部分健康和多模态测试领先，编程与智能体任务有不足。Meta披露技术细节少，该模型基准测试有竞争力，但其从开放转向封闭引开发者担忧。

港科大贾佳亚团队开源DreamOmni2，该模型基于FLUX Kontext，能处理多参考图像，在多模态编辑与生成上表现出色，超越谷歌Nano Banana等模型，还构建了新测试集与数据构建范式。

Typeless是一款月订阅费超200元、功能单一却有超10万用户的AI语音键盘。它能转写语音、整理文本、AI润色，支持多语言，电脑手机端均可使用。实测其转录准确、整理能力强，但润色功能有局限。

当前主流大语言模型依赖下一token预测训练，难理解跨多token完整概念。南洋理工大学提出概念感知微调（CAFT）技术，首次将多token预测引入微调，能让模型理解完整概念，多领域实验显示其可显著提升模型性能。

挚文集团生态技术负责人李波在AICon大会分享大模型在社交生态落地实践。介绍集团生态问题，提出构建治理框架，还阐述多模态大模型研发方案、细粒度用户画像建设及审核侧应用，最后总结现状并展望未来。