「评测标准」共找到 946 篇相关文章
让GPT-4.1「头皮发麻的考试」!OpenAI给大模型上强度,AI能赢吗?
OpenAI 公布 MRCR 评测标准数据集,其针对 AI 模型上下文能力进行「奥运会」级别测评。MRCR 提升了测试难度,能揭示 AI 能力边界,推动模型发展,帮助更合理应用技术。GPT4.1 在一些测试中表现出色,未来 AI 能力上限充满可能。
基于Memory Bank的Cursor长会话记忆内存库理论研究与实践
文章围绕Memory Bank展开,介绍其为解决大模型长会话记忆瓶颈而设计的机制,包括存储、检索、更新模块。阐述其在编程和知识库建设的应用,还评测了Codelf等工具,指出Memory Bank是AI迈向智能的重要一步。
别让故障复盘流于形式:用AI挖掘每一次“跌倒”的价值
文章指出传统故障复盘存在诸多问题,借助AI能力可解决专业性和深度问题。介绍了智能复盘Agent,包括其核心使命、目标用户、核心价值和解决方案,还阐述了核心技术架构、实现方式及评测机制等,最后给出实战案例。
Karpathy刚开源的autoresearch,我拿来优化龙虾skill,成功率从56%飙到92%
Karpathy发布开源项目autoresearch,可让AI优化AI。作者分享用其优化skill的实践,介绍优化流程,指出可将模糊表述拆成可判断是非题,还提及定义评估标准的方法与常见错误修正。此外,还能用于代码性能优化。
陶哲轩在菲尔兹颁奖现场:数学迎来百年新危机
菲尔兹奖得主陶哲轩在ICM大会称数学迎来百年危机,上次危机是检查逻辑地基,这次是价值观地基。他以First Proof评测展示AI解数学题能力,提出“工作假设”分析数学研究目标及KPI变化和“证明过剩”问题,还给出应对之策。
ICLR 2026 | 越推越快! 首个面向「Test-Time Scaling」的投机解码基准
文章指出推理阶段扩展(TTS)能提升推理大模型解决复杂问题的能力,但会产生大量冗余计算。为此提出首个面向TTS的投机解码加速综合基准,评测显示N - gram方法在特定场景加速潜力大,混合策略性能更优。
CNSNS|西工大曹文博、张伟伟:克服优化求解器中的损失条件数瓶颈:一种良性损失函数
基于优化的偏微分方程求解方法受关注,但实际慢于经典迭代求解器。本文从条件数角度审视效率瓶颈,指出标准MSE损失导致条件数平方放大、减缓收敛。提出稳定梯度残差损失SGR,在收敛速度与稳定性间建立平衡,实验验证其有效性。
密室逃脱成AI新考场,通关率不足50%,暴露空间推理短板丨清华ICCV25
清华大学团队受密室逃脱游戏启发,提出EscapeCraft:一个3D密室逃脱环境,用于评估多模态大模型在视觉环境中完成复杂任务推理的能力。该论文已入选ICCV 2025。研究评测了多个热门模型,发现它们在推理和探索行为方面存在诸多问题。
百万人围观,「上下文图谱」火了,万亿美元新机遇?
本文围绕智能体对记录系统的影响展开讨论。有人认为智能体将摧毁记录系统,也有人反驳,指出其会提高记录系统标准。文章重点介绍上下文图谱概念,它是决策轨迹的长期积累,有望成万亿级新机遇。同时分析传统厂商构建难题及创业公司路径。
中文版Nano Banana来了?Qwen-Image-2.0炸场:1K长文本硬吃,中文生图彻底不拧巴了
AI生图曾有文本长易糊、指令复杂就出错、中文渲染差等问题。阿里新发布的Qwen-Image-2.0能处理1K token长文本,理解复杂指令,中文渲染佳,还能多图编辑,国际评测表现也靠前,阿里云百炼已开通API邀测。