「评测框架」共找到 2224 篇相关文章
Claude、GLM、GPT谁才是真正的AI软件工程师？首个持续更新Visual Spec-to-App Benchmark发布
近年来，Coding Agent 发展迅速，「AI 软件工程师」渐成现实。但目前缺少系统评测其从设计稿开发产品能力的公开 Benchmark。为此，多校研究团队推出 VISTA，可多维度评测 Coding Agent 开发能力，且持续更新。
顶尖AI竟输给三岁宝宝，BabyVision测试暴露多模态模型硬伤
UniPat AI 等发布多模态理解评测集 BabyVision，测试显示多模态大模型纯视觉能力仅达三岁幼儿水平。其通过对比实验、细分任务评测，揭示模型系统性缺基础视觉能力，还给出新方向及发展建议。
默认选择 React，等于是在扼杀前端创新
文章指出默认选 React 正减缓前端创新。如今团队选前端常出于习惯而非技术契合度，使 Svelte、Solid、Qwik 等创新框架难被采用。默认选 React 还带来运行成本、架构惰性等问题，呼吁根据需求选框架。
仅用1/9的token拿下SOTA，用LLM当知识路由：全新RAG框架DeepSieve
大语言模型遇「最新」或「垂直领域」知识易出错，传统RAG做法有痛点。全新RAG框架DeepSieve把LLM当知识路由器，四步筛选信息，实验精度高、成本低，消融实验明确各模块价值，还有救场案例。
GPT-5.2首发评测：大神深度体验两周，强到离谱，但慢得抓狂
为对抗谷歌的Gemini 3，OpenAI推出GPT - 5.2。大神Matt Shumer深度评测，指出其指令遵循、代码生成、视觉和长上下文等能力有提升，但速度慢。与Claude Opus 4.5、Gemini 3 Pro各有分工。
超越DeepSeek-R1，数学形式化准确率飙升至84% | 字节&南大开源
字节跳动Seed团队与南京大学联合发布CriticLean框架，将数学自然语言到Lean 4代码的形式化准确率从38%提升至84%。该框架创新性地将评估模型置于核心，解决语义对齐等问题，还构建了相关基准测试和数据集。
KDD 2025 | UoMo来了，首个无线网络流量预测模型，一个框架搞定三类任务
在 ACM KDD 2025 大会上，清华与中国移动联合发布 UoMo，全球首个面向移动网络的通用流量预测模型。它结合扩散模型与 Transformer，能理解地理与人流变化，一个框架搞定三类流量预测任务。
Knowledge还是Reasoning？具体分析LLM答案正确，不代表思考过程靠谱的问题
斯坦福/加州大学团队指出大模型答案正确不代表思考过程靠谱，传统评估忽略思考路径问题。团队提出双维度评估框架，透视模型思考过程，还测试发现不同领域决胜关键、最佳训练法不同，且框架正解锁新场景。
单卡4090也能高质量视频编辑！西湖AGI Lab无训练框架FlowDirector来了
视频编辑门槛高、现有方法开销大且效果不佳。西湖大学AGI Lab团队提出无需训练的FlowDirector框架，可将基于流的视频生成模型改造成编辑工具，质量高、功能广、开销低，解决了时序、结构和编辑幅度问题。
标准化3D生成质量榜单来了！首创层次化评价体系，告别“谁的demo更吸睛”主观评估
Hi3DEval团队推出面向3D内容生成的全新层次化自动评测体系Hi3DEval，设计对象级、部件级与材质主题三层评测协议，在HuggingFace发布首期3D生成榜单，涵盖30个主流与前沿模型。