「评分标尺」共找到 83 篇相关文章
Nano Banana不及格，开源模型一分难求！上海AI Lab新基准直击文生图模型痛点
上海人工智能实验室等联合发布首个多学科文生图考试基准GenExam，覆盖10学科、1000题。实验显示，GPT - 4o严格评分正确率仅12.1%，开源模型接近0分，暴露出模型在专业场景的短板。
Scaling Laws起源于1993年？OpenAI总裁：深度学习的根本已揭秘
人工智能扩展定律（Scaling Laws）把模型性能和资源投入联系，是构建大模型的参考标尺。其起源说法不一，康奈尔博士生将其推至1993年贝尔实验室论文，OpenAI总裁称它揭示深度学习根本。
砍掉70%内存！陈丹琦团队破解LLM长文本瓶颈
大型语言模型处理长文本时，KV缓存占用内存巨大。陈丹琦团队提出KV足迹作评估标尺，推出分块驱逐与PruLong训练技术，在128K长文本任务中最高降低70%内存，性能损失仅10%。
实测 Google I/O 放出来的 Imagen4，不如GPT4o、甚至不如Imagen3。。
作者实测 Google I/O 推出的 Imagen4，发现它在生成封面图时审美和文字表达不佳。对比 Elo 评分及实际出图，在指令遵循、细节还原等方面，Imagen4 不如 GPT4o 甚至 Imagen3。
「百万级」视频推理数据集！30+顶尖高校联合发布
AI视频生成已能「画得像」，但不会「想得对」。VBVR推出百万级视频推理数据集，首次系统评测模型对空间、物理、逻辑和抽象的推理能力，发现顶尖模型通过率仅68%，推动视频AI从「视觉模仿」迈向「智能推理」。
Anthropic 再发长文：首次详细揭秘Agent的评估全过程「Claude code开发过程的经验总结」
Anthropic在Claude Code等开发及与客户合作中总结出AI Agent评估方法。文章介绍评估基本结构、构建原因、评分器类型、不同Agent评估法、应对不确定性指标、构建路线图及与其他方法协同方式。
NeurIPS 2025 | 告别全量扫描！浙大提出COIDO：破解多模态数据选择「高耗」难题
浙大提出 COIDO 框架解决多模态数据选择「高耗」难题。它摒弃全量扫描，用轻量级评分器和小样本采样，将重要性和多样性的优化统一。实验显示，它性能与效率双优且有强泛化性。
医疗AI质变时刻来临！国产医疗AI率先突破，临床诊疗能力问鼎全球
文章指出当前医疗AI真实能力与临床期待有落差，为此中国医生联合制定全球首个评估医疗AI临床适用性标准，完成对主流模型测评，中国企业打造的MedGPT夺冠，还推出‘未来医生’平台服务患者。
OpenAI研究大模型对GDP贡献，三大行业已能代替人类，并自曝不敌Claude
OpenAI推出新评估方法GDPval，跟踪模型在现实任务表现。评估显示前沿模型接近专家水平，Claude Opus 4.1表现最佳，GPT - 5准确性出色。还发布黄金子集和评分服务，其处于起步阶段将持续扩展。
手机上实现AI视频实时生成，DiT模型上移动端
扩散变换器在视频生成任务性能强，但计算成本高，在手机上难实用。Snap提出创新优化法，加速视频生成，能在iPhone 16 Pro Max上每秒超10帧，不过也存在细节退化等局限。