「评估标准」共找到 1025 篇相关文章
o3绞尽脑汁仅答对40%的题目,开源模型基本乱猜?MMSI-Bench:多图空间智能试金石
文章介绍了MMSI - Bench,这是用于评估MLLM多图像空间推理能力的VQA基准。它人工构建样本、全面分类任务、采用多样真实数据。实验显示MLLM在多图像空间推理有短板,还开发自动化错误分析流程助力改进。
美团LongCat扎扎实实做了件难事:LLM数学新天花板AMO-Bench
美团LongCat团队联合高校推出AMO - Bench,用50道原创奥赛级难题评估LLM数学能力。它解决现有基准测试痛点,经四重把关构建,测试显示顶级模型表现不佳,也揭示模型提升空间大。
Agentic AI的第三种范式来了,16家机构提出「伴身智能体」
16家海内外高校与科研机构的22位研究者提出ComBodied Agents新范式,它围绕人的长期状态与主体性构建。论文给出闭环技术框架与评测标准,还提到研究难点与风险,也为产品实践提供指导。
Agent记忆赛道大洗牌!LoCoMo-Refined重磅发布,主流记忆框架迎来核心检验
南京大学与上海人工智能实验室联合推出 LoCoMo-Refined,这是严苛的 Agent 记忆评测基准。它指出当前记忆评测基准有两大漏洞,在其标准下主流记忆框架得分普降,且相关数据集和评测脚本已开源。
5 分钟搞懂开源大模型选型核心维度,16G显卡也能选对
文章以作者自身经历引入,指出开源大模型选型易陷入‘越大越好’误区。讲透选型4个核心维度,含实操步骤与避坑指南,还介绍选后评估方法,助新手快速锁定适配模型。
10个面向前端开发者的MCP服务器
MCP是Anthropic推出的开放标准,让大模型与外部系统交互。本文介绍10个面向前端开发者的MCP服务器,如Canva、Dart等,还提及实验性的Angular MCP服务器,阐述各服务器功能及对开发者的帮助。
98%财务顾问依赖AI,揭秘7家先锋企业如何解锁商业新格局
OpenAI报告剖析7家前沿公司应用AI经验。如摩根士丹利评估后让98%财务顾问用OpenAI;Indeed用GPT - 4o mini优化职位匹配;Klarna用AI客服助手提升效益等,展示AI重塑企业运营的潜力。
2026跳槽暴富指南:这些公司的期权,可能比你的年薪值钱10倍
2026年为中国科技公司IPO大年,众多公司上市后员工获丰厚收益。文章列举小红书、月之暗面等公司,分析其期权价值与上市可能性,给出评估期权的框架及投资风险提醒。
YC总裁转发、登顶Hacker News:SkillsBench揭开Agent技能扩展的残酷真相
近日论文《SkillsBench: Benchmarking How Well Agent Skills Work Across Diverse Tasks》引发海外AI社区关注。研究聚合47150个Skills,经严格筛选评估,揭示人工构建Skills效果好、AI自生成无效等核心发现,为AI研发指明路径。
邱锡鹏老师团队发布VehicleWorld:让智能汽车真“智能”
邱锡鹏老师团队发布论文,构建高度仿真的智能座舱虚拟环境VehicleWorld,并提出基于状态的函数调用(SFC)方法。实验显示,SFC大幅提升任务执行准确率和效率,还构建了Vehicle Benchmark进行评估。