搜索：多模态微调 - AI Reading Hub

「多模态微调」共找到 1187 篇相关文章

Meta扩张继续！挖走OpenAI 2名多模态AI研发人员，收购语音初创公司PlayAI

据报道，Meta 首席执行官扎克伯格从 OpenAI 挖走 2 名多模态 AI 研发人员，还完成对语音初创公司 PlayAI 的收购。Meta 近期在 AI 人才争夺上攻势猛，想补足短板，其超级智能团队未来表现值得关注。

Thinking Machine新研究提出On - Policy Distillation方法，结合RL与微调优势。该方法让学生模型每步由教师模型指导，用KL散度评估分歧。实验表明其训练小模型性价比高，还能解决AI“灾难性遗忘”问题。

北京智源研究院推出多模态世界模型Emu3.5，能原生预测视觉和语言下一状态。用超10万亿token数据预训练，后经强化学习训练。团队提出DiDA提升推理效率，其性能媲美Nano Banana，项目已开源。

最新模型Jan - nano引发关注，它在智能体任务上超671B的DeepSeek - V3 0528，在SimpleQA基准获80.7分。它基于Qwen3 - 4B用字节&清华DAPO微调方法。其研发团队是Menlo Research，有开源产品和长远规划。

日常文档处理麻烦，现有工具或体积大、算力消耗高，或识别精度不够。IBM 开源轻量多模态文档处理模型 Granite - Docling，仅258M参数，性能超 GPT - 4o，适用于多场景。

12月13日，西湖大学修宇亮在GAIR 2025分享数字人重建进展。其团队成果UP2You将建模时间从4小时缩至1.5分钟；ETCH获更准确内部人体结构；Human3R可实时动态重建人物场景。他认为未来数字人重建将成基础模型微调任务。

北大王选所彭宇新团队在论文中提出TARA方法，引入生物分类学知识与多模态模型中间表征对齐。实验显示，TARA能提升模型层级识别和未知类别识别能力，还可加速训练收敛，计算开销小。

YuanLab.ai团队开源源Yuan3.0 Ultra多模态基础大模型，是万亿级开源多模态大模型之一。它优化训练效率，在多任务表现突出，为企业Agent AI提供支撑，还提出新算法和训练策略，全面开源推动落地。

金融科技智能化转型中，LVLM部署受算力瓶颈制约。哈工大与度小满联合开源EFFIVLM - BENCH基准测试框架，能为多模态大模型压缩方案出具‘体检报告’，还揭示LVLM加速复杂性，推动技术发展。

多模态大模型迅速发展，但能否理解人类情绪存疑，且缺乏系统性评测框架。香港中文大学和阿里通义实验室团队提出 MME - Emotion 评测基准，评测 20 个主流模型，发现模型情感智能不足，为后续研究提供参考。