「评测系统」共找到 2235 篇相关文章
AI大厂系统提示词泄露:2.7万token里,藏着最好的提示工程课
GitHub上`system_prompts_leaks`仓库扒出Claude、GPT等AI系统提示词。这些提示词像事故档案，规则具体，其结构排序暴露优先级。普通使用者可借鉴，提升对AI提要求的质量。
谷歌AI新里程碑：一个能「做研究」的系统诞生了，用LLM+树搜索编写专家级软件
谷歌提出能帮科研人员编写「专家级」科研软件的AI系统，融合大语言模型和树搜索，可整合重组知识构建新思路。在多领域超人类表现，但局限于可量化任务。
AI 如何讲好一个多人故事？首个支持多角色互动的3D场景叙事系统
首尔国立大学提出全新框架，能生成虚拟动态场景并支持多角色上下文动作生成。引入LLM拆解复杂任务，系统用事件驱动方式规划动作，还构建基准评估相关能力，有良好扩展性和实用性。
马斯克点赞的APP来了！刚下场视频世界模型，就拿下评测第一
实时视频世界模型成热门，Loopit发布的实时互动世界模型Zing - 0.5在评测中获第一且已开源。该公司提出独特观点，认为实时视频非世界，互动应“模应一体”，还指出抵达端到端终局的新路径。
知识类型视角切入，全面评测图像编辑模型推理能力：所有模型在「程序性推理」方面表现不佳
东南大学等团队提出KRIS - Bench，从知识类型视角对图像编辑模型推理能力评测。它分三大知识范畴、细化多种任务，设四维度评估指标，测10款模型，发现模型程序性推理等能力不足。
世界最老程序员——这个91岁的老码农用AI 搞了个教会志愿者管理系统
91岁从未碰过代码的John Blackman，在孙子介绍下，用Claude和Replit的AI agents，仅两天就搭建出教会志愿者管理系统，还分享开发到生产的挑战及使用反馈。
大语言模型离“数学证明高手”还有多远？斯坦福、伯克利、MIT 团队提出 IneqMath 评测标准
现在很多大语言模型常给出看似正确的结论，但推理过程却有问题。斯坦福、伯克利和MIT团队提出新思路，构建IneqMath数据集及‘AI数学裁判系统’，研究发现很多模型推理不严谨，还给出两个提升准确率的办法。
当 Agent 尝试接管浏览器，连“我是人类”都证明不了？上海交大开源发布交互评测基准 HLL
随着多模态大模型发展，Web Agent 面临验证码挑战。上海交通大学等团队发布 HLL 评测基准，解耦真实度为三维度，对 8 款前沿模型测试，揭示 Agent 在多步交互微操上的短板。
4 个月 3000 万美金 ARR，做 AI 评测榜单的 LMArena 为何值 17 亿美金
AI评测产品LMArena半年前种子轮获1亿美金，现完成超1.5亿美金A轮融资，估值达17亿美金。其核心产品Chatbot Arena可对比AI模型回答并构建榜单，公布的数据或解答了其估值高的疑问。
首个面向科学任务、真实交互、自动评估的多模态智能体评测环境，ScienceBoard来了
ScienceBoard是首个面向科学任务、真实交互、自动评估的多模态智能体评测环境。它集成多领域科研软件，构建科研任务集合，评估智能体在科学任务上的表现，发现现有模型在科研工作流中远未成熟。