「测试评估集」共找到 2681 篇相关文章
同一个模型,换套框架成绩差27%:SWE-bench分数到底谁说了算?
编程Agent评测是笔糊涂账,SWE - bench虽成事实标准,但分数不适合直接横向比较。基元律动等机构发布Claw - SWE - Bench基准,将模型、harness和任务集拆分,通过实验揭示harness对成绩影响大,还解决通用Agent评测问题,推出低成本Lite版。
CVPR 2026 三维视觉趋势梳理:从 RGB 感知,到真实世界建模
计算机视觉行业从追求识别能力转向关注视觉系统对真实世界的理解。CVPR 2026研究中,多视角、事件视觉、开放集3D生成和相机运动轨迹被引入视觉理解,多篇论文从不同侧面推动视觉系统走向对真实世界的理解。
万字硬核解读SAM 3:不止分割一切,它开始理解世界了
Meta的SAM 3能理解语义,实现可提示概念分割。它支持开放词汇、全实例分割等,架构有创新,数据引擎高效。评估显示其性能优异,与MLLM结合成SAM 3 Agent后推理分割能力强,但在专业领域和复杂场景有局限。
代码生成要变天了?被质疑架空后,Yann LeCun携320亿参数开源世界模型“杀回来了”
在新一代代码生成模型不断涌现的当下,Meta FAIR CodeGen团队由Yann LeCun领导发布了代码世界模型CWM。它有320亿参数,创新训练方式使它不仅会写代码,还能模拟执行,性能测试表现不俗,在圈内引发热议。
从社区数据出发,再看大模型开源开发生态全景与趋势
蚂蚁开源先后在527蚂蚁技术日和外滩大会发布大模型开发生态开源项目全景图1.0和2.0版本。2.0版更新评估方法,呈现生态新变化,还分析技术趋势、开发者分布,提及项目进出情况及TensorFlow衰落等。
蚂蚁 | 提出代码检索/重排基准:CoREB,揭开高分榜背后的三大幻觉,现已接入MTEB
蚂蚁研究人员提出代码检索与重排评测基准CoREB,解决现有基准相关性软、数据污染、任务方向单一问题。它已集成进MTEB,收录19个模型×6个任务评测结果,为代码检索模型评估提供新基线。
6个电子牛马替我上班,腾讯马维斯好用吗?
5月20日腾讯上线AI助手马维斯,由六个AI Agent组成。经测试,它在定时任务、搜索整理、竞品分析等场景有表现,但也存在文件操作易出错、图片识别不稳定、分析深度不足等问题。其背靠腾讯生态有渠道优势,但需提升体验促使用户留存。
对话罗剑岚:机器人必须在真实世界中持续变强
DeepTech对话智元机器人首席科学家罗剑岚,围绕其团队发布的机器人世界模型τ0 - WM展开。罗剑岚认为机器人不能只在静态数据集上模仿,要能预测动作后果,还探讨了数据作用、工作关系及开源意义等。
全网实测开玩Fable 5.1,听说写作说话和真人没区别?
Anthropic发布Fable 5.1后,第三方跑分和个人实测出炉。ARC Prize测试成绩佳且成本降32%,网友用它做出多款游戏。科技媒体Every全面测评,指出其多方面优势与设计等短板,并给出使用边界。
13小时不眠不休,300个分身狂敲代码!开源第一易主了
4月20日深夜,Kimi K2.6出道即开源,展示了强大的「全栈交付」能力,跑分超GPT - 5.4等。它能完成多类型官网制作,300个Agent协作能力强,还能复刻高盛研报、交付三件套,其Claw群组开启小范围测试。