「评测范式」共找到 1556 篇相关文章
Deepseek V4 Pro发布，除了多模态，满足我对模型的所有想象
DeepSeek官方文档更新模型日期，意味着DeepSeek V4 Pro正式版来临，已在官方API提供。它采用MoE设计，接口能力强，Agent能力得到大幅强化，评测成绩亮眼，价格实惠且有API兼容性，不过有并发限制，近期还将上调价格。
Fable5仅做对3.5%！大模型会看图，但还没有主动视觉
本文介绍了专门测量「主动观察」能力的视觉推理基准 ActiveVision，评测显示无外部工具时，大模型与人类准确率有近 9 倍差距，用工具后虽提升但仍远不如人类，还说明了其出题与避免取巧的方式。
BeyondSWE：AI编程80分是真的强，还是考卷太简单？
前沿模型在SWE - bench Verified测试中得分超80%，但该测试像开卷填空。中国人民大学提出BeyondSWE重新设计评测，规模是前者18倍，模型得分全跌破45%。还提出SearchSWE框架，结果显示搜索与编码能力融合待提升。
杨植麟亲自发布，月之暗面最强模型Kimi K2.5开源
杨植麟发布月之暗面最强模型Kimi K2.5，经约15万亿视觉与文本混合数据预训练，有顶尖编程与视觉能力及智能体蜂群范式。在多基准测试表现优，成本低于对手，还能提升办公生产力。
Ilya重新定义AGI: 为什么ChatGPT离真正的AGI还很远
OpenAI前首席科学家Ilya在访谈中提出对AGI的新定义，还指出AI规模时代结束，未来拼想法和研究深度。他分析模型评测强但经济影响弱的原因，阐述人类价值函数作用，且SSI战略或调整。
谷歌新版Gemini马甲被扒! LMArena实测：唯一能看懂表的AI, GPT-5乱答
谷歌Gemini 3.0疑似上线LMArena，其Pro和Flash马甲被扒。实测中，Gemini 3 Pro能精确看表，GPT - 5等表现不佳；SVG测试有提升但也有不足；还能作曲。不过评测方式老套，希望有新花样。
小红书发布 SWE-Bench Mobile：当 AI Agent 面对亿级用户 App 代码库，最高通过率仅12%？
小红书联合多科研机构发布 SWE-Bench Mobile，它是首个还原‘端到端’开发流程的基准，以小红书 App 实际任务为核心。评测显示，AI Agent 在移动端开发能力上限低，架构设计比模型本身重要，简单提示策略效果更好。
刚刚，百度最新开源神作：PaddleOCR-VL-1.5上线了
1月29日百度开源新一代文档解析模型PaddleOCR-VL-1.5，参数仅0.9B，在OmniDocBench V1.5评测中综合性能全球第一，精度达94.5%。它支持异形框定位，解决真实文档解析难题，在多场景表现出色。
拿着做数学题的 PRM 来评判 Agent 调用工具，基本是行不通的！
目前评估体系多为结果导向，在工具调用上缺乏像样的PRM基准。Arizona State University和Intuit AI Research研究者推出ToolPRMBench，指出用做数学题的PRM评判Agent调用工具行不通，还介绍了其构建方法、训练范式和实验结果。
清华姚班团队，开源具身智能视觉语言动作（VLA）模型工具箱，打造行业通用技术底座
清华姚班团队所在的原力灵机公司，开源了基于PyTorch的视觉语言动作（VLA）模型工具箱Dexbotic。它能打造通用底座，解决行业研发困境，其预训练模型表现出色，还与Hugging Face合作推出评测平台。