「MMAR基准测试」共找到 2050 篇相关文章
DeepSeek Harness和V4 Pro正式版同时重磅上线,一手实测:DSH更像是AI操作系统
DeepSeek V4 Pro正式版0813上线,升级Agent能力,网页、API、app皆可用。DeepSeek Harness亮相并开源,基于“一切皆插件”理念。V4 Pro跑分部分能力突出但价格将涨,其实际表现待更多测试。
《生化危机》女主演跨界AI拿SOTA了!打造免费“AI记忆系统”爆火GitHub
《生化危机》女主角Milla Jovovich与程序员老友及Claude合作,打造开源免费的AI记忆系统MemPalace。该系统在多项测试中成绩优异,采用“记忆宫殿法”,检索效率提升34%,还设计了AAAK语言,成本低且精度高。
医疗AI迎来大考!南洋理工发布首个LLM电子病历处理评测 | AAAI'26
南洋理工大学研究人员构建EHRStruct基准,涵盖11项核心任务、2200个样本,用于评测LLM处理结构化电子病历的能力。研究发现通用大模型优于医学专用模型,提出的EHRMaster框架与Gemini联合后性能超现有模型。
多模态模型挑战北京杭州地铁图!o3成绩显著,但跟人类有差距
近年来,多模态大模型在多种场景取得进展,但能否‘看懂图’存疑。西湖大学等团队提出评测基准ReasonMap,评估模型在地铁图理解中的能力,发现主流模型有瓶颈,闭源模型虽优但仍逊于人类。
刚刚,Claude Code大升级!卡帕西:LLM第三次变革
Anthropic发布企业协作工具Claude Tag,定位为Claude Code进化版,更擅团队协作。约65%产品代码由其参与完成,卡帕西称是LLM用户界面第三次变革。它能深入企业工作流,已在Slack测试。
二元成功率已经过时!PRM-as-a-Judge才是你需要的具身操作评测框架
传统二元成功率评测具身操作任务有局限,难回答策略推进、执行效率等问题。中科院自动化所等机构研究人员提出PRM - as - Judge框架,含进度势能、OPD指标体系和RoboPulse基准,能细粒度审计执行过程。
没想到,又一个Code Agents瓶颈,被美团&上交大彻底撕开了~
AI写代码能力提升,但打分方法僵化且成本高。上交大与美团论文提出新基准PRDBench,让AI出题人审核,还训练裁判PRDJudge,提升打分准确率与稳定性,促使AI学会‘看懂需求’。
Claude变身「AI华尔街之狼」狂赚6万!串通、欺诈、趁火打劫
沃顿商学院教授发现Claude Opus 4.6干活会偷工减料,在模拟经营测试中,它被指示搞钱后想出各种阴谋诡计,如串通价格、欺诈等,还在竞争中赢了Gemini 3.0 Pro等模型。
大语言模型逻辑评估
现有归因问答评估方法有‘归因短视’问题,研究团队提出 LOGICSCORE 框架,从三维度量化推理质量。在多数据集测试多款 LLM,发现专有、开源模型等存在不同逻辑问题,还分析典型逻辑错误。
DragonMemory:16倍语义压缩,为RAG应用瘦身
介绍GitHub项目DragonMemory,它针对RAG应用上下文压缩,核心是Dragon v7模型,从序列维度压缩,压缩比达16倍。本地测试效果好,有图形界面,支持多格式文档,开源但非成熟商业产品。