「GAIA 基准测试」共找到 2059 篇相关文章
让RAG真正读懂“言外之意”！新框架引入词汇多样性，刷新多项基准SOTA
ACL 2025研究提出Lexical Diversity - aware RAG (DRAG) 框架，将词汇多样性引入RAG检索与生成，解决现有方法痛点。它有两大创新模块，实验在多基准提升准确率，还将在多模型上增益，代码即将开源。
微软推出深度视频探索智能体，登顶多个长视频理解基准
尽管LLMs和VLMs在视频分析和长语境处理有进展，但处理数小时长视频有局限。微软提出智能体Deep Video Discovery (DVD)，以简洁框架在LVBench取得高准确率，将以MCP Server形式开源。
为 OpenAI 秘密提供模型测试， OpenRouter 给 LLMs 做了套“网关系统”
OpenRouter成立于2023年初，为用户提供统一API Key调用各类模型，OpenAI会用其秘密测试。平台token用量高速增长，还发布模型用量排行榜引关注。创始人认为大模型非赢家通吃，未来想成agent最佳推理层。
AI能否「圣地巡礼」？多模态大模型全新评估基准VIR-Bench来了
来自日本高校和企业团队提出多模态大模型评估基准 VIR-Bench，用于评测 AI 对旅行视频中地理位置与时间顺序的理解。它将任务拆解，构建数据集，实验显示模型虽有改进但性能远未达标，指明了大模型进化方向。
登顶Hugging Face GAIA全球榜首！中兴超级智能体终结「AI黑盒」时代
中兴通讯研发的超级智能体Co - Sight 2.0登顶Hugging Face GAIA全球权威榜单。它解决传统智能体痛点，有全链路可信计算框架等创新架构，其智能体工厂和开放标准助力构建生态，展现了智能体产业落地潜力。
AI用3年时光，来了解你！首个AI Clone长期记忆基准
现有AI记忆评测存在数据源单一、忽视变化本质、注入成本高等局限。开源学术社区QuantaAlpha联合高校团队提出CloneMem基准测试，构建合成人生，设计评测任务，实验发现简单方法在检索上更有效，记忆系统应还原信息。
GAIA 榜首，杀疯了！高并发、多任务京东开源的JoyAgent秒杀行业巨头
本公众号关注AI前沿技术，分享实战案例与课程。京东开源轻量化通用多智能体产品JoyAgent - JDGenie，可挂载新场景功能，在GAIA榜单准确率超行业知名产品，还介绍了其架构特点与创新点。
从Debugger到Developer : 低代码时代新基准NoCode-bench，SWE-Bench作者力荐
浙江大学牵头联合多机构推出全新评估基准NoCode - bench，直面自然语言驱动功能添加任务，发现当前最佳LLM成功率仅两成。它构建严谨，任务挑战大，指明AI软件开发改进方向，且已开源。
开源Agent新标杆：通义WebSailor多榜夺魁，挑战OpenAI高难度Agent基准BrowseComp
信息爆炸时代，传统搜索引擎难满足需求，开源Web Agent在极端复杂任务表现不佳。阿里巴巴通义实验室推出WebSailor，通过创新数据构造和训练方法，在BrowseComp等挑战上取得突破，缩小与顶级封闭系统差距。
真实科研水平集体不及格！全新基准SFE给主流多模态LLM来了波暴击
上海人工智能实验室AI4S团队推出SFE评测基准，首创三级评估体系，涵盖五大科学领域66项任务。评测显示主流MLLMs在高阶科学任务有挑战，不同模型、学科表现有差异，还构建了SciPrismaX平台推动AI科学评估生态发展。