「学术基准测试」共找到 2186 篇相关文章
我们测试了百度的「AI 科学家」，它正在悄悄淘汰算法工程师
百度 2025 世界大会亮相的「伐谋」，是全球领先可商用自我演化超级智能体。它源于进化论，能让算法自我进化。实测显示其在生活场景和复杂决策问题上表现优越，架构精巧，将推动算法研发普惠化。
真实音频场景，大模型集体挂科！首个原生语音基准MultiChallenge
Scale AI发布首个原生音频多轮对话基准Audio MultiChallenge，撕开大模型靠合成语音评测维持的假象。实验显示，Gemini 3 Pro等模型在真实场景表现不佳，还揭示了模型在语音交互中的三大失败模式。
浙大校友打造AI代码测试神器，零代码零bug，30分钟创建网站
浙大校友打造的智能测试平台TestSprite 2.0，零代码零bug，30分钟创建网站，能让AI写代码准确率从42%跃升至93%，还可自动生成测试报告、调试修复错误，全程无需人工干预。
DeepSeek-OCR是「长文本理解」未来方向？中科院新基准VTCBench给出答案
DeepSeek - OCR的VTC技术可实现高压缩率，降低长文本处理成本。但视觉语言模型能否理解压缩信息存疑，中科院等推出VTCBench评估，测试模型认知极限，还推出VTCBench - Wild检测鲁棒性。
让RAG真正读懂“言外之意”！新框架引入词汇多样性，刷新多项基准SOTA
ACL 2025研究提出Lexical Diversity - aware RAG (DRAG) 框架，将词汇多样性引入RAG检索与生成，解决现有方法痛点。它有两大创新模块，实验在多基准提升准确率，还将在多模型上增益，代码即将开源。
微软推出深度视频探索智能体，登顶多个长视频理解基准
尽管LLMs和VLMs在视频分析和长语境处理有进展，但处理数小时长视频有局限。微软提出智能体Deep Video Discovery (DVD)，以简洁框架在LVBench取得高准确率，将以MCP Server形式开源。
为 OpenAI 秘密提供模型测试， OpenRouter 给 LLMs 做了套“网关系统”
OpenRouter成立于2023年初，为用户提供统一API Key调用各类模型，OpenAI会用其秘密测试。平台token用量高速增长，还发布模型用量排行榜引关注。创始人认为大模型非赢家通吃，未来想成agent最佳推理层。
AI能否「圣地巡礼」？多模态大模型全新评估基准VIR-Bench来了
来自日本高校和企业团队提出多模态大模型评估基准 VIR-Bench，用于评测 AI 对旅行视频中地理位置与时间顺序的理解。它将任务拆解，构建数据集，实验显示模型虽有改进但性能远未达标，指明了大模型进化方向。
北大发布学术搜索评测ScholarSearch：难倒一众DeepResearch的“开卷考试”
北京大学DS - Lab发布ScholarSearch，这是评估大语言模型学术检索能力的数据集，含223道高难度题目。评估显示现有模型表现欠佳，纯推理模型准确率低，有搜索功能的模型虽有提升但仍不足。
再不怕乱引文献！绕过付费墙，BibAgent把学术核验转为证据链
大模型生成学术论述，其引用验证成难题，尤其付费墙后论文难以核验。BIBAGENT突破此困境，不破解付费墙也能验证引文语义真伪，还构建MISCITEBENCH评测，表现优异，为科学写作补“可审计基础设施”。