「测试评估集」共找到 2678 篇相关文章
先验+后验加持，大模型能否 hold 住推理预测的现实「溢出」？
多数大模型评估基准依赖固定数据集，难测真实推理实力。字节跳动等推出的 FutureX 动态评测基准，将重点移至动态预测能力。实验显示不同模型在不同任务表现有别，大模型在现实场景运用仍待优化。
Karpathy刚开源的autoresearch，我拿来优化龙虾skill，成功率从56%飙到92%
Karpathy发布开源项目autoresearch，可让AI优化AI。作者分享用其优化skill的实践，介绍优化流程，指出可将模糊表述拆成可判断是非题，还提及定义评估标准的方法与常见错误修正。此外，还能用于代码性能优化。
谢赛宁团队新基准让LLM集体自闭，DeepSeek R1、Gemini 2.5 Pro都是零分
纽约大学等8家机构研究者提出LiveCodeBench Pro竞技编程基准测试，评估了Gemini 2.5 Pro等前沿大模型。发现当前模型有显著不足，在无外部工具时，高难度题通过率为0，LLM与人类大师级水平差距明显。
细节直逼亚毫米级！港科广分层建模突破3D人体生成｜CVPR 2025
港科广团队提出MultiGO创新方案，借助分层建模思路突破3D人体生成难题。该方案通过三级几何学习框架提升重建质量，在多个测试集上性能领先，且在多领域有应用优势，研究成果入选CVPR 2025，项目代码将开源。
普林斯顿团队领衔发布最强开源数学定理证明模型：32B性能大幅超越前代SOTA DeepSeek 671B
近日，普林斯顿大学牵头多机构推出开源数学定理证明模型 Goedel-Prover-V2。其 32B 旗舰模型在多基准测试超 DeepSeek-Prover-V2-671B，8B 小模型特定基准性能与之持平。该模型有三项关键创新，团队已公开模型及数据集。
刚刚，OpenAI正式发布o3-pro！奥特曼激动更新博客：温和的奇点
今日凌晨，OpenAI发布o3-pro，Pro订阅用户可通过ChatGPT和API使用。其在多项任务表现出色，但在ARC-AGI数据集上与o3相近且成本高。网友测试评价不一，此外OpenAI CEO奥特曼还发表博客展望AI未来。
谷歌提出破局Self-Consistency计算瓶颈！LLM推理效率革命，推理加速不牺牲精度
Google Research等团队提出CISC，通过给推理路径赋予置信度权重，少量样本即可超越传统自洽性效果，平均减少40%计算成本，还提出WQD指标揭示模型自评估能力本质。
SceneSplat: 基于3DGS的场景理解和视觉语言预训练，让3D高斯「听懂人话」的一跃
文章引入 SceneSplat，首个在 3DGS 上原生运行的端到端大规模 3D 室内场景理解方法，提出自监督学习方案，构建发布 SceneSplat - 7K 数据集，在多个实验中达 SOTA 效果。
把 MiniMax M2.7 扔进真实业务里：它替我省了 BI 和程序员的钱
作者测试 MiniMax M2.7，用含复杂数据的 Excel 测试其办公能力，让其开发管理系统验证工程能力，还测试 MaxClaw 多步骤 Agent。结果显示它表现出色，但处理复杂事件仍待优化。
Seedream 4.0大战Nano Banana、GPT-4o？EdiVal-Agent 终结图像编辑评测
在AIGC下一阶段，图像编辑成检验多模态模型关键场景。研究者提出EdiVal - Agent评估框架，能自动化生成指令并多维度评估编辑结果，其评估与人类判断一致性高，还对比了13个模型的多轮编辑表现。