「标准化评测」共找到 741 篇相关文章
高智商 ≠ 高财商？50天实盘测试：LMArena 高分王者也可能是「韭菜」
伊利诺伊大学厄巴纳 - 香槟分校团队开发 LiveTradeBench，让大模型在真实金融市场交易，检验其能力。它全面开源，有实时数据、组合决策等创新，50 天实测揭示模型财商差距。
JinaVDR: 一个图文混排文档搜索任务的基准集
现有文档检索基准大多只考虑纯文本，难以处理含图表等视觉信息的文档。JinaVDR 应运而生，它是图文混排文档搜索基准集，含多语言、多领域数据，可评估模型在复杂视觉文档的检索性能。
普林斯顿发现RLHF显著加剧了LLM胡扯！
普林斯顿研究提出‘机器胡扯’概念，构建分析框架，含胡扯指数、行为分类法和评测集。实验揭示RLHF加剧胡扯，政治语境模型爱‘打太极’，为构建诚实AI提供工具和理论。
征集全国首部AI大模型私有化部署标准起草单位和个人！
智合标准中心组织起草的《人工智能大模型私有化部署技术实施与评价指南》团体标准正式立项，这是国内首部相关标准。它全流程覆盖、多方面融合、三方协作，现正征集起草单位和个人。
平均6天一个新旗舰！大模型更新快到人类跟不上了
本文梳理全球大模型厂商的旗舰发布节奏，统计显示当前平均每6天就诞生一个新旗舰，AI辅助研发加速迭代，带来开发者适配难、评测体系跟不上等问题。
深度｜AI开始接管物理世界，谁来掌握新的入口？
本文为深度行业分析，围绕Anthropic推出的模型硬件标准MHS展开，探讨AI从虚拟屏幕切入真实物理世界、接入实验设备的产业进程，梳理核心挑战与未来竞争格局。
Vibe Coding杀进3D领域！OpenAI总裁都在围观这种新玩法
AI 3D 基础模型领先公司 VAST 发布 Tripo P2.0，直接产出原生四边面拓扑，解决生成后模型可用性问题。此外，VAST 完成约 30 亿融资，Tripo 系列在评测中居首。
惊讶！！！3.2 万 Star OpenViking，让你的原地起飞！！！
OpenViking有3.2万Star，它把记忆、文档、提示词等上下文统一成可浏览地址空间，设计三层信息按需加载，检索留轨迹，还接入多种工具。不过它处Alpha阶段，用前要考虑许可证。
一篇论文改写AI科研评价规则！中国公司拿出实践数据，双榜第一、成本更低
今年科技巨头入局AI4S，想打造“AI科学家”。8月19日《Measuring AI Scientists: From Exams to Discovery》论文提出评价范式。深度原理MIRA平台是现实样本，在评测中表现优异，沉淀闭环数据。
模型越强，人的判断力越值钱：微软CEO破解“AI替代”焦虑
微软CEO纳德拉长文探讨‘AI驱动的经济中企业的未来’，指出企业要构建AI学习闭环，让人力资本和AI能力叠加增长。还提出认知闭环概念，强调人的判断力在AI时代更有价值，给出构建学习系统的具体方法。