「V*Bench」共找到 693 篇相关文章
GPT-5编程成绩有猫腻！自删23道测试题，关键基准还是自己提的
有人发现OpenAI测试GPT-5编程能力时，用的SWE-bench Verified子集仅477题，自行省略23题。若这些题默认零分，其得分比Claude Opus 4.1低。且该基准还是OpenAI自己提出的。
Transformer八子初创：AI横扫NP难题竞赛，Top 2%选手竟是智能体！
Transformer作者Llion Jones初创公司测试AI智能体，其在NP难题竞赛中排第21。Sakana AI与AtCoder合作构建ALE - Bench，设计ALE - Agent参赛成绩优异，不过它也有调试难等局限，未来待改进。
Sonnet 5 翻车！同性能价差最高 56倍，海外巨头为何复刻不出 DeepSeek？
Anthropic发布Claude Sonnet 5，官方称补足了Agent能力，价格优惠，但开发者反应不佳。Sonnet 5因tokenizer换代，实际使用成本更高，且比同类模型贵。与之相比，DeepSeek V4 Pro便宜很多，其靠技术实现低价，海外厂商难以复刻。
Auto Research时代，47个没有标准答案的任务成了Agent能力必测榜
Einsia AI旗下Navers lab发布Agent Benchmark——Frontier-Eng Bench，让AI在47个多学科交叉的硬核任务中做工程优化，测试其迭代优化能力。研究总结出AI进化规律，初步勾勒接近真实工程循环的AI系统。
BeyondSWE：AI编程80分是真的强，还是考卷太简单？
前沿模型在SWE - bench Verified测试中得分超80%，但该测试像开卷填空。中国人民大学提出BeyondSWE重新设计评测，规模是前者18倍，模型得分全跌破45%。还提出SearchSWE框架，结果显示搜索与编码能力融合待提升。
多模态大模型不会画辅助线？最新评估得分：o3仅25.8%，远低于人类82.3% | 清华腾讯斯坦福联合
清华、腾讯、斯坦福等团队发布RBench - V基准测试，评估大模型视觉推理能力。结果显示，主流大模型如o3、Gemini2.5等准确率远低于人类，开源模型表现更差，暴露出大模型在复杂多模态推理任务中能力不足。
一个能思考、会记忆的AI导演诞生了！新加坡管理大学，香港中文大学等实现故事化视频生成
新加坡管理大学等提出开源全能多智能体框架UniVA，可统一视频理解、分割等能力，按指令生成完整故事视频。还引入UniVA - Bench基准测试套件，实验显示其在多任务中表现出色，代表视频智能生成重要进步。
DeepSeek终于丢了开源第一王座，但继任者依然来自中国
几千人盲投中，Kimi K2超越DeepSeek成全球开源第一，总榜第五紧追顶尖闭源模型。虽有人质疑其采用DeepSeek V3架构，但团队称有参数调整。当下开源模型崛起，正打破性能弱的刻板印象。
视频模型也能推理，Sora2推理能力超过GPT-5
DeepWisdom团队研究发现视频生成模型能推理，在空间类任务上比图文模型更擅长。团队推出VR - Bench基准测试，构建客观评分体系。实验显示视频模型在空间推理有优势，相关代码和数据集已开源。
国产MiroMind智能体框架，登顶全球预测未来大模型榜单
国产MiroMind公司在全球首个动态实时预测基准FutureX上夺冠，老板是陈天桥。其开源的MiroFlow v0.2智能体框架优势明显，能升级大模型能力，且成本低、可复现。MiroMind在预测赛道领先。