「评估工程」共找到 1392 篇相关文章
研究表明：资深开发者在使用AI工具时，完成任务的时间比不使用时延长了19%。
研究通过随机对照试验，发现2025年初资深开源开发者使用AI工具完成任务时间比不使用时延长19%。当前衡量AI能力多依赖标准化评测，可能高估或低估其真实能力，研究旨在更准确评估。
人类创造力的核心机制，AI已经开始掌握了 | 北大CogSci 2025（Oral）
北大团队论文揭示AI开始掌握人类创造力核心机制，提出IEI框架量化评估AI组合创造力。研究发现GPT - 4等在创意理解超普通人，框架优化可提升AI创意输出质量，论文被CogSci 2025收录。
Google | 发布革命性编码智能体：AlphaEvolve，突破数学极限！
DeepMind 发布由 LLMs 驱动的进化编码智能体 AlphaEvolve，能演化代码库用于算法发现和优化。它结合 LLM 创造力与自动化评估，减少幻觉，在谷歌计算生态、数学算法等多领域有巨大应用潜力。
刚刚，马斯克Grok 4.1低调发布！通用能力碾压其他一切模型
xAI 低调发布 Grok 4.1 并向所有用户开放，可多平台使用。该模型在真实世界可用性上显著提升，尤其在创造力等方面出色。它在多项评估中表现优异，通用能力领先，情感智能、创意写作佳，还降低了事实幻觉。
多模态长文本理解测评首发：46款模型无一攻克128K难关
香港科大等研究者联合提出MMLongBench，用于评估多模态模型长文本理解能力。它覆盖5大类型任务的16个数据集，对46个模型测试显示，闭源和开源模型在长上下文任务均面临挑战，OCR和跨模态检索能力是瓶颈。
大模型最后一层竟是推理累赘？绕开对齐税，奥数准确率暴涨 22.4%！
Qwen团队等最新研究打破传统认知，揭示‘对齐税’现象。提出置信解码策略，在多架构、评测集上表现出色，能绕过‘对齐税’，提升推理准确率，且工程开销低，为大模型发展提供新思路。
斯坦福临床医疗AI横评，DeepSeek把谷歌OpenAI都秒了
斯坦福最新大模型医疗任务评测，构建含35个基准测试的MedHELM综合评估框架。结果显示，DeepSeek R1以66%胜率领先，o3 - mini等模型也各有表现，还分析了成本效益。
从 Rule、Spec 到 Harness：AI Coding 的渐进式建设路径
作者分享帮团队落地AI Coding经验，指出试点易但推广难，瓶颈在接收端。介绍从Rule、Spec、Loop到Harness的渐进式建设路径，各层前后相依，逐层收紧控制面，助AI在工程体系稳定交付。
刚刚，大模型棋王诞生！40轮血战，OpenAI o3豪夺第一，人类大师地位不保？
国际象棋积分赛成果出炉，OpenAI o3以人类等效Elo 1685分夺冠，Grok 4和Gemini 2.5 Pro紧随其后。Kaggle发布国际象棋文本排行榜，评估模型战略推理等能力，还推出相关数据集，虽有局限但意义重大。
利用大模型从开源情报中自动提取检测规则：LLMCloudHunter，有开源
随着网络攻击增加，威胁情报成主动安全关键。以色列本古里安大学发布LLMCloudHunter框架，用大模型从开源情报自动生成检测规则，评估显示其规则质量高，且大部分能编译成Splunk查询，软件已开源。