「评估方法」共找到 2123 篇相关文章
研究表明：资深开发者在使用AI工具时，完成任务的时间比不使用时延长了19%。
研究通过随机对照试验，发现2025年初资深开源开发者使用AI工具完成任务时间比不使用时延长19%。当前衡量AI能力多依赖标准化评测，可能高估或低估其真实能力，研究旨在更准确评估。
人类创造力的核心机制，AI已经开始掌握了 | 北大CogSci 2025（Oral）
北大团队论文揭示AI开始掌握人类创造力核心机制，提出IEI框架量化评估AI组合创造力。研究发现GPT - 4等在创意理解超普通人，框架优化可提升AI创意输出质量，论文被CogSci 2025收录。
Google | 发布革命性编码智能体：AlphaEvolve，突破数学极限！
DeepMind 发布由 LLMs 驱动的进化编码智能体 AlphaEvolve，能演化代码库用于算法发现和优化。它结合 LLM 创造力与自动化评估，减少幻觉，在谷歌计算生态、数学算法等多领域有巨大应用潜力。
刚刚，马斯克Grok 4.1低调发布！通用能力碾压其他一切模型
xAI 低调发布 Grok 4.1 并向所有用户开放，可多平台使用。该模型在真实世界可用性上显著提升，尤其在创造力等方面出色。它在多项评估中表现优异，通用能力领先，情感智能、创意写作佳，还降低了事实幻觉。
POF | 上海理工大学梁梓浩、朱兵等：使用大语言模型进行气泡湍流实验数据处理
本文提出结合大语言模型（Time - LLM）与Transformer模型的复合框架处理气泡两相流热膜测量信号干扰。先由Time - LLM识别气泡干扰信号，再用Transformer模型修复。实验证明该方法高效、轻量且物理自洽。
多模态长文本理解测评首发：46款模型无一攻克128K难关
香港科大等研究者联合提出MMLongBench，用于评估多模态模型长文本理解能力。它覆盖5大类型任务的16个数据集，对46个模型测试显示，闭源和开源模型在长上下文任务均面临挑战，OCR和跨模态检索能力是瓶颈。
AMS | 西工大向锦鹏、宋述芳等：一种用于伴随方程求解的物理约束图神经网络
伴随方法用于高维优化问题，但求解伴随方程代价大。本文提出物理约束图神经网络(ADJ - PCGN)，构建流场解与伴随向量映射模型，有精度和泛化性，能加速优化，方便嫁接求解器。
大模型可否胸有成竹？探索LLM推理与自信心的关系 | 直播预约
本次全英文直播将探讨大语言模型推理能力扩展瓶颈，介绍以置信度为核心的推理视角，展示“自确定性”指标及应用，还会讨论方法有效性和“基于置信度的推理”意义。
先别急着给OpenAI加冕！陶哲轩：这种「金牌」，含金量取决于「赛制」
OpenAI 官宣推理模型在 IMO 获金牌水平成绩，此前各模型表现不佳。数学家陶哲轩劝谨慎看待，认为无严格测试条件难比较 AI 与人类。网友看法不一，模型训练方法及 Alexander Wei 受关注。
斯坦福临床医疗AI横评，DeepSeek把谷歌OpenAI都秒了
斯坦福最新大模型医疗任务评测，构建含35个基准测试的MedHELM综合评估框架。结果显示，DeepSeek R1以66%胜率领先，o3 - mini等模型也各有表现，还分析了成本效益。