「多模态评测基准」共找到 2140 篇相关文章
Seedream 4.0大战Nano Banana、GPT-4o？EdiVal-Agent 终结图像编辑评测
在AIGC下一阶段，图像编辑成检验多模态模型关键场景。研究者提出EdiVal - Agent评估框架，能自动化生成指令并多维度评估编辑结果，其评估与人类判断一致性高，还对比了13个模型的多轮编辑表现。
攻克长文档与多模态挑战，Paper2Video实现学术视频的自动化生产
新加坡国立大学 Show Lab 团队主导研究，提出 Paper2Video 基准及评价指标，还推出 PaperTalker 多智体框架实现学术视频自动化生产，实验显示其在多方面表现佳，效果接近人工水平。
多模态后训练反常识：长思维链SFT和RL的协同困境
华为与香港科大研究发现，多模态视觉语言模型中，长思维链SFT与RL组合难协同增益。研究引入难度分类方法构建数据集，分析各方法表现及组合策略困境，还给出实验发现与未来研究方向。
理解帮助生成？RecA自监督训练让统一多模态模型直升SOTA
统一多模态模型在视觉理解和生成能力上不平衡，常理解强但生成弱。本文提出重建对齐（RecA）自监督后训练方法，不改动架构，用未标注图像训练，在多模型实验中提升性能，部分达SOTA。
千卡集群破壁之道：vivo视觉多模态大模型训练效率跃迁实战
多模态大模型在多领域需求增长，但千卡级 GPU 训练挑战大。vivo AI 架构师王兆雄在大会演讲，结合 LLaVA 和 DiT 模型实践，解析优化策略，分享提升训练效率与稳定性的经验，还展望了 AI Infra 未来。
SFT在帮倒忙？新研究：直接进行强化学习，模型多模态推理上限更高
学界常用「监督微调（SFT）+ 强化学习（RL）」训练大模型。但新研究发现，SFT 会引发「伪推理路径」，阻碍推理进步。相比之下，直接进行 RL 训练，模型多模态推理上限更高，该团队训练的模型还刷新了纪录。
全球首个多模态矢量动画生成框架，轻松拿捏跨平台轻量动画
复旦大学等团队推出OmniLottie框架，利用创新分词技术将视频、图文指令变成高质量矢量动画。团队还打造数据集MMLottie - 2M，构建测试基准MMLottie - Bench。实验显示，OmniLottie在多任务测试中优势明显。
「0污染」LLM理解基准来了！20000道题14个学科全覆盖，来自微软
MMLU-CF是微软亚洲研究院推出的无污染多任务语言理解基准测试，含20000道题、覆盖14学科。通过去污染规则和闭源测试集防数据泄露，保证评估结果可靠，已在Huggingface开放。
从Debugger到Developer : 低代码时代新基准NoCode-bench，SWE-Bench作者力荐
浙江大学牵头联合多机构推出全新评估基准NoCode - bench，直面自然语言驱动功能添加任务，发现当前最佳LLM成功率仅两成。它构建严谨，任务挑战大，指明AI软件开发改进方向，且已开源。
全球首个历史基准！普林复旦打造AI历史助手，AI破圈人文学科
普林斯顿大学AI实验室与复旦大学历史学系联手推出全球首个历史领域评测基准HistBench及AI助手HistAgent。HistBench含414道题，能检验AI深度认知能力；HistAgent集成多种工具，在测试中表现优异。