RAG评估机制」共找到 1713 篇相关文章

算法论文8

谢赛宁团队新基准让LLM集体自闭,DeepSeek R1、Gemini 2.5 Pro都是零分

纽约大学等8家机构研究者提出LiveCodeBench Pro竞技编程基准测试,评估了Gemini 2.5 Pro等前沿大模型。发现当前模型有显著不足,在无外部工具时,高难度题通过率为0,LLM与人类大师级水平差距明显。

机器之心
算法论文8

蚂蚁 | 提出代码检索/重排基准:CoREB,揭开高分榜背后的三大幻觉,现已接入MTEB

蚂蚁研究人员提出代码检索与重排评测基准CoREB,解决现有基准相关性软、数据污染、任务方向单一问题。它已集成进MTEB,收录19个模型×6个任务评测结果,为代码检索模型评估提供新基线。

AINLPer
开源动态8

DeepDiver-V2来了,华为最新开源原生多智能体系统,“团战”深度研究效果惊人

华为发布DeepDiver-V2原生多智能体系统,采用“团队作战”模式,在复杂知识问答和长文报告生成上表现出色。它以Planner为中心协调多个Executor,有智能任务分解等优势,训练也有新机制,昇腾NPU集群加速。

量子位
新闻资讯8

人类最后考试登上Nature:全球50个国家近千名顶尖学者打造的AI测试集

人类最后的考试(HLE)登上Nature,这一测试集由全球50个国家近千名顶尖学者打造,含2500道高难度试题。现有的人工智能评估工具已跟不上技术演进,HLE能测出AI极限,让顶尖机器暴露短板。

AIGC开放社区
新闻资讯7

先验+后验加持,大模型能否 hold 住推理预测的现实「溢出」?

多数大模型评估基准依赖固定数据集,难测真实推理实力。字节跳动等推出的 FutureX 动态评测基准,将重点移至动态预测能力。实验显示不同模型在不同任务表现有别,大模型在现实场景运用仍待优化。

机器之心
算法论文8

扩散模型+自进化:这篇论文让Deep Researcher错误率直降70%

论文提出测试时扩散深度研究代理(TTD-DR),将报告生成建模为扩散过程,有组件自进化机制和动态闭环设计。实验显示其在多领域研究任务超现有方案,为AI研究助手落地提供新范式。

深度学习自然语言处理
算法论文7

一篇多模态大模型推理技术最新综述

华东师大&字节跳动系统回顾基于强化学习的MLLMs推理进展,涵盖关键算法设计、奖励机制创新及实际应用,探讨了RL在LLMs/MLLMs中的关键设计与优化策略,还涉及多模态大模型推理多方面内容。

PaperAgent
开源动态8

9B“小”模型干了票“大”的:性能超8倍参数模型,拿下23项SOTA | 智谱开源

智谱发布并开源仅9B大小的模型GLM-4.1V-9B-Thinking,在28项评测中拿下23个SOTA,成10B级别最佳VLM模型。它引入思维链推理机制,通过课程采样强化学习提升能力,还获10亿投资。

量子位
开源动态8

Qwen3技术报告首次全公开!“混合推理模型”是这样炼成的

本文首次公开Qwen3技术报告,介绍其模型架构、预训练及后训练过程、性能表现等技术细节。Qwen3整合两种模式,引入思考预算机制,降低轻量级模型计算资源,在多基准测试领先,多语言支持扩展至119种,所有模型开源。

通义千问Qwen
新闻资讯7

网民票选AI王者,LMArena一夜变17亿美元独角兽!

LMArena原是校园开源小项目,从2023年起步,如今估值达17亿美元。其Arena模式让网友盲投选AI,Elo评分系统算排名。虽有众包投票易操纵等争议,但已成行业标杆,还将为大厂提供付费评估服务。

新智元