搜索：多模态大型语言模型

「多模态大型语言模型」共找到 1986 篇相关文章

Meta发布Omnilingual ASR：支持1600+语言的开源语音识别系统

Meta发布全新自动语音识别系统Omnilingual ASR，支持超1600种语言，核心创新是零样本和少样本学习能力，降低小语种语音识别门槛。项目提供不同规模模型，安装调用简单，目前仅支持40秒内音频，数据集和项目均开源。

香港中文大学 MMLab 和美团研究者思考架构解耦是否为统一多模态模型必须，推出 AIA 损失。研究发现架构解耦未解决任务冲突，AIA 能提升模型性能，减少数据配比问题。

Go语言之父Rob Pike被AI写的感谢邮件惹毛爆粗口，Python之父Guido van Rossum也被骚扰。这反映出部分人对AI生成代码的厌恶，也体现了AI给程序员群体带来的恐慌，不过也有人建议顺应趋势使用AI编程工具。

OmniGen2是强大的开源统一多模态图像生成模型，针对文本和图像模态构建独立解码路径，运用未共享参数。新架构提升处理效率和质量，在图像编辑等任务表现出色，还有多技术特点。

给多模态大模型瘦身是解决算力瓶颈的关键。Token压缩技术可剔除视觉冗余，提升训练与推理效率。北大等团队剖析其全貌，给出完整图谱与选型指南，还揭示了未来演进路径。

北航刘偲教授团队提出语言引导的细粒度无人机轨迹控制研究框架，定义Flow范式。采用模仿学习法让无人机响应指令，构建数据集和仿真评测基准，还提出协作策略和算法，实现真机部署。

大语言模型工程成功但理论研究滞后，被视为「黑盒」。人大刘勇团队用生命周期分类法，将LLM理论研究整合为六阶段，系统综述底层理论与机制，指出前沿挑战，为其向严谨科学转型提供路线图。

多模态大推理模型的幻觉常出现在生成转折词时，此时模型处于高熵关键节点，易脱离图像证据。研究者提出LEAD，高熵时保留候选推理方向，注入视觉锚点拉回证据，实验显示它能跨领域提升模型性能。

主流OCR评测基准聚焦信息抽取任务，而图文推理任务缺乏系统性评估标准。OCR - Reasoning可系统性评估多模态大模型深度推理能力，还给出多种推理示例，并展示了测评Qwen2.5 - VL - 7B模型的代码。

主流OCR评测基准聚焦信息抽取，复杂图文推理任务中多模态大模型深度推理能力缺乏评估标准。OCR - Reasoning可系统性评估，还列举多种推理示例，并测评了Qwen2.5 - VL - 7B模型。