「评估基准」共找到 1424 篇相关文章
如何选择最佳多模态大模型压缩方案？哈工大、度小满开源EFFIVLM-BENCH基准测试框架
金融科技智能化转型中，LVLM部署受算力瓶颈制约。哈工大与度小满联合开源EFFIVLM - BENCH基准测试框架，能为多模态大模型压缩方案出具‘体检报告’，还揭示LVLM加速复杂性，推动技术发展。
腾讯混元数字人团队发布Moral RolePlay基准，揭秘大模型的「道德困境」
腾讯混元数字人团队和中山大学推出「Moral RolePlay」测评基准，评估大模型扮演多元道德角色能力，揭示顶尖AI模型演不好反派，暴露模型理解社会心理复杂性的局限，还给出未来对齐技术方向。
OCR-Reasoning：揭秘多模态大模型在复杂图文推理中的真实能力
主流OCR评测基准聚焦信息抽取任务，而图文推理任务缺乏系统性评估标准。OCR - Reasoning可系统性评估多模态大模型深度推理能力，还给出多种推理示例，并展示了测评Qwen2.5 - VL - 7B模型的代码。
从「记忆解题」到「深度推理」：港科大推出首个本科数学动态评测基准 UGMathBench
港科大团队发表在 ICLR 2025 的研究 UGMathBench，是首个本科数学动态评测体系。它涵盖 16 个学科领域，通过变量扰动创建多版本试题，引入创新指标评估模型推理能力，测试结果揭示了当前模型短板。
OCR-Reasoning：揭秘多模态大模型在复杂图文推理中的真实能力
主流OCR评测基准聚焦信息抽取，复杂图文推理任务中多模态大模型深度推理能力缺乏评估标准。OCR - Reasoning可系统性评估，还列举多种推理示例，并测评了Qwen2.5 - VL - 7B模型。
大模型全员0分！谢赛宁领衔华人团队，最新编程竞赛基准出炉，题目每日更新禁止刷题
谢赛宁等人出题，让o3、Gemini - 2.5 - pro等模型全军覆没。LiveCodeBench Pro是实时基准测试，题库每日更新。此前称LLM编程超人类专家，本次测试并非如此，最好模型难题通过率也为0。
专业医生远不如AI模型？OpenAI推出医疗开源测试基准HealthBench，o3表现最强
OpenAI推出医疗开源测试基准HealthBench，由262位多国医生合作打造，含5000段真实健康对话。评估显示o3综合表现最佳，顶尖AI处理任务能力超无辅助医生，HealthBench更真实专业有区分度，但也有局限。
姚顺雨署名：大模型「现学现卖」能力首次被系统评估，腾讯、复旦联手发布CL-Bench
腾讯混元团队和复旦大学研究人员联手推出全新基准测试CL - Bench，系统性评估大模型上下文学习能力。测试显示十大前沿模型表现不佳，揭示当前大模型在该能力上的普遍短板，并指出未来四个探索方向。
谢赛宁团队新基准让LLM集体自闭，DeepSeek R1、Gemini 2.5 Pro都是零分
纽约大学等8家机构研究者提出LiveCodeBench Pro竞技编程基准测试，评估了Gemini 2.5 Pro等前沿大模型。发现当前模型有显著不足，在无外部工具时，高难度题通过率为0，LLM与人类大师级水平差距明显。
a16z：AI 产品初期用户流失高很正常，M3 留存才是评估 PMF 的关键
a16z研究团队分析数百家AI企业后发现，将衡量用户留存率基准点从M0后移至M3，能更清晰评估PMF和GTM策略。AI产品留存曲线分获客、留存、扩张三阶段，M12/M3比率是预测长期留存关键指标。