「FutureX 动态评测基准」共找到 975 篇相关文章
DeepSeek在Agent上做了件大事!
昨天DeepSeek发布V3.2正式版,强化Agent能力并融入思考推理,其在Agent评测达开源模型最高水平。文中分析Agent成开源‘心病’的痛点,介绍DeepSeek相关解决策略及成果,还给出使用示例。
CAG又回来了,这次它带着RAG!
文章对比CAG和RAG,指出CAG虽解决RAG部分痛点,但有根本限制,对海量变化知识库,RAG不可替代。Aurimas将二者结合做「动态混合层」效果好,还给出实施架构和关键点。
76%程序员依赖AI?代码安全挑战解析
GitHub报告显示76%程序员用AI编程,代码安全成挑战。腾讯等团队建A.S.E评测框架,有项目级代码生成等优势,能评估代码安全、质量与稳定性,未来将扩充功能,邀开发者参与。
研究表明:资深开发者在使用AI工具时,完成任务的时间比不使用时延长了19%。
研究通过随机对照试验,发现2025年初资深开源开发者使用AI工具完成任务时间比不使用时延长19%。当前衡量AI能力多依赖标准化评测,可能高估或低估其真实能力,研究旨在更准确评估。
数学编码超越O3-high,英伟达版「DeepSeek R1二代」推理模型开源~
Nvidia开源OpenReasoning-Nemotron系列模型合集,采用Qwen2.5架构,基于500万条轨迹训练。评测输出长度最高64K token,多版本刷新SOTA。其‘heavy’模式有独特能力,32B版在数学与编程基准超越O3(High)。
大模型最后一层竟是推理累赘?绕开对齐税,奥数准确率暴涨 22.4%!
Qwen团队等最新研究打破传统认知,揭示‘对齐税’现象。提出置信解码策略,在多架构、评测集上表现出色,能绕过‘对齐税’,提升推理准确率,且工程开销低,为大模型发展提供新思路。
RL 将如何提高具身大模型 VLA 泛化性?清华大学团队NeurIPS 2025文章分析 RL 与 SFT 泛化性差异
清华大学团队在NeurIPS 2025发表文章,揭示强化学习(RL)提升具身大模型VLA泛化能力的优势,对比其与SFT差异,还提出评测基准和训练方法,为VLA训练提供新方向。
彻底戳穿AI「失忆症」!超越OpenAI全局记忆,中国队开源LLM记忆操作系统
大语言模型有「记忆」缺失问题,国内顶尖团队打造出操作系统级AI记忆框架MemOS并开源且可商用。它将「记忆」升为「一级资源」,用MemCube封装记忆,评测显示性能优于OpenAI全局记忆方案。
斯坦福临床医疗AI横评,DeepSeek把谷歌OpenAI都秒了
斯坦福最新大模型医疗任务评测,构建含35个基准测试的MedHELM综合评估框架。结果显示,DeepSeek R1以66%胜率领先,o3 - mini等模型也各有表现,还分析了成本效益。
比肩OpenAI Simple Codex,中国团队闯入Terminal-Bench全球第二!
Anthropic和OpenAI推出新模型后,基础大模型较量进入实战比拼。中国团队Feeling AI的CodeBrain - 1在Terminal - Bench 2.0榜单排全球第二,它聚焦代码编写运行,还能动态调整计划策略,展现出高含金量。