「幻觉评估」共找到 935 篇相关文章
研究表明：资深开发者在使用AI工具时，完成任务的时间比不使用时延长了19%。
研究通过随机对照试验，发现2025年初资深开源开发者使用AI工具完成任务时间比不使用时延长19%。当前衡量AI能力多依赖标准化评测，可能高估或低估其真实能力，研究旨在更准确评估。
马斯克Grok 4正式发布：世界最大AI超级计算机就训练了这？
Grok 4公开基准测试有进步，但在高级推理测试表现差，视觉理解仍是短板。性能提升多靠整合符号工具，无重大技术创新，‘幻觉’问题没实质进展，xAI官方对道德对齐信心不足。
人类创造力的核心机制，AI已经开始掌握了 | 北大CogSci 2025（Oral）
北大团队论文揭示AI开始掌握人类创造力核心机制，提出IEI框架量化评估AI组合创造力。研究发现GPT - 4等在创意理解超普通人，框架优化可提升AI创意输出质量，论文被CogSci 2025收录。
多模态长文本理解测评首发：46款模型无一攻克128K难关
香港科大等研究者联合提出MMLongBench，用于评估多模态模型长文本理解能力。它覆盖5大类型任务的16个数据集，对46个模型测试显示，闭源和开源模型在长上下文任务均面临挑战，OCR和跨模态检索能力是瓶颈。
AI圈深夜大乱斗！OpenAI、谷歌、Anthropic发布新模型，集体翻车？
昨晚，OpenAI时隔六年再次开源`gpt-oss-120b`和`gpt-oss-20b`，Anthropic发布`Claude Opus 4.1`，Google发布Genie 3及写故事书功能。不过OpenAI新模型幻觉率高，Anthropic更新提升有限。
斯坦福临床医疗AI横评，DeepSeek把谷歌OpenAI都秒了
斯坦福最新大模型医疗任务评测，构建含35个基准测试的MedHELM综合评估框架。结果显示，DeepSeek R1以66%胜率领先，o3 - mini等模型也各有表现，还分析了成本效益。
基础模型已颠覆科研，进入第五范式！港科大综述113篇论文 | NeurIPS'25
港科大论文指出，随着科学问题复杂度提升，传统科研范式显露出局限。基础模型（FMs）横空出世，具备通用性、规模与知识覆盖、推理与生成能力，可能引领科学进入第五范式，但也面临偏见、幻觉等问题。
刚刚，大模型棋王诞生！40轮血战，OpenAI o3豪夺第一，人类大师地位不保？
国际象棋积分赛成果出炉，OpenAI o3以人类等效Elo 1685分夺冠，Grok 4和Gemini 2.5 Pro紧随其后。Kaggle发布国际象棋文本排行榜，评估模型战略推理等能力，还推出相关数据集，虽有局限但意义重大。
利用大模型从开源情报中自动提取检测规则：LLMCloudHunter，有开源
随着网络攻击增加，威胁情报成主动安全关键。以色列本古里安大学发布LLMCloudHunter框架，用大模型从开源情报自动生成检测规则，评估显示其规则质量高，且大部分能编译成Splunk查询，软件已开源。
ICML 2025 Spotlight | 谁导致了多智能体系统的失败？首个「自动化失败归因」研究出炉
ICML 2025 Spotlight 论文提出「自动化失败归因」新方向，应对多智能体系统失败难诊断问题。构建「Who&When」基准数据集，设计三种初步方法并评估，虽现有方法表现有限，但此研究意义重大，有望助力打造更可靠系统。