「实验评测」共找到 1864 篇相关文章
浙大推出首个「多图应用题」基准GSM8K-V，全面评估 VLM数学推理能力
浙江大学团队推出视觉数学推理基准GSM8K-V，将GSM8K映射为视觉对应版本。它数据可靠、覆盖全面，经三阶段构建。实验显示，现有视觉语言模型在视觉推理上短板明显，为模型发展指明方向。
其实，扩散语言模型在最终解码之前很久，就已确定最终答案
随着扩散语言模型（DLM）发展，它成自回归（AR）模型有力替代。但实际推理慢于 AR 模型。研究者发现早期答案收敛现象，提出 Prophet 策略，实验显示其能在保持高质量生成时显著加速推理。
EasyCache：无需训练的视频扩散模型推理加速——极简高效的视频生成提速方案
近年来，扩散模型在视频生成领域广泛应用，但推理慢、算力消耗高问题突出。EasyCache是无需训练的视频扩散模型推理加速方案，在多模型实验中实现大幅提速且视频质量几乎无损，为技术落地提供基础。
小红书发布 SWE-Bench Mobile：当 AI Agent 面对亿级用户 App 代码库，最高通过率仅12%？
小红书联合多科研机构发布 SWE-Bench Mobile，它是首个还原‘端到端’开发流程的基准，以小红书 App 实际任务为核心。评测显示，AI Agent 在移动端开发能力上限低，架构设计比模型本身重要，简单提示策略效果更好。
SentGraph：一句一句把多跳RAG“画”成图
传统RAG在多跳场景易‘断链’，因检索单元太胖、逻辑关系乱。SentGraph把检索单元缩到句，按逻辑画三层图。线下建图分拆句、找关系、架桥梁；线上推理有Anchor初选、精炼及路径扩展。实验提升显著，也有局限。
Meta超级智能实验室又发论文，模型混一混，性能直接SOTA
大语言模型训练依赖算力和时间，传统模型 Souping 多采用均匀平均。Meta 等研究者提出类专家 Soup（SoCE），利用基准测试类别构成选最优模型，非均匀加权平均，实验显示其提升了模型效果与稳健性，在排行榜获 SOTA 成绩。
刚刚，百度最新开源神作：PaddleOCR-VL-1.5上线了
1月29日百度开源新一代文档解析模型PaddleOCR-VL-1.5，参数仅0.9B，在OmniDocBench V1.5评测中综合性能全球第一，精度达94.5%。它支持异形框定位，解决真实文档解析难题，在多场景表现出色。
拿着做数学题的 PRM 来评判 Agent 调用工具，基本是行不通的！
目前评估体系多为结果导向，在工具调用上缺乏像样的PRM基准。Arizona State University和Intuit AI Research研究者推出ToolPRMBench，指出用做数学题的PRM评判Agent调用工具行不通，还介绍了其构建方法、训练范式和实验结果。
一个能思考、会记忆的AI导演诞生了！新加坡管理大学，香港中文大学等实现故事化视频生成
新加坡管理大学等提出开源全能多智能体框架UniVA，可统一视频理解、分割等能力，按指令生成完整故事视频。还引入UniVA - Bench基准测试套件，实验显示其在多任务中表现出色，代表视频智能生成重要进步。
清华姚班团队，开源具身智能视觉语言动作（VLA）模型工具箱，打造行业通用技术底座
清华姚班团队所在的原力灵机公司，开源了基于PyTorch的视觉语言动作（VLA）模型工具箱Dexbotic。它能打造通用底座，解决行业研发困境，其预训练模型表现出色，还与Hugging Face合作推出评测平台。