「知识评估」共找到 1187 篇相关文章
斯坦福临床医疗AI横评，DeepSeek把谷歌OpenAI都秒了
斯坦福最新大模型医疗任务评测，构建含35个基准测试的MedHELM综合评估框架。结果显示，DeepSeek R1以66%胜率领先，o3 - mini等模型也各有表现，还分析了成本效益。
AI赛博活佛Andrej Karpathy最新访谈：我学到了他最核心的思维方式
10月17日的Dwarkesh播客访谈里，AI科学家Andrej Karpathy分享思维方式、对AI发展的思考及做AI教育的思路。他用“一阶项”思维抓核心，教学先让学生经历问题，还提出知识可能拖累模型等观点。
刚刚，大模型棋王诞生！40轮血战，OpenAI o3豪夺第一，人类大师地位不保？
国际象棋积分赛成果出炉，OpenAI o3以人类等效Elo 1685分夺冠，Grok 4和Gemini 2.5 Pro紧随其后。Kaggle发布国际象棋文本排行榜，评估模型战略推理等能力，还推出相关数据集，虽有局限但意义重大。
利用大模型从开源情报中自动提取检测规则：LLMCloudHunter，有开源
随着网络攻击增加，威胁情报成主动安全关键。以色列本古里安大学发布LLMCloudHunter框架，用大模型从开源情报自动生成检测规则，评估显示其规则质量高，且大部分能编译成Splunk查询，软件已开源。
太多人误解了「苦涩的教训」
《“苦涩的教训”》一文常被误解，其核心观点是能充分利用计算资源扩展的方法会超越不能扩展的方法。人类知识短期易获好结果，但长远看，唯有随算力增长的方法最终胜出，如深蓝、AlphaGo Zero的案例。
ICML 2025 Spotlight | 谁导致了多智能体系统的失败？首个「自动化失败归因」研究出炉
ICML 2025 Spotlight 论文提出「自动化失败归因」新方向，应对多智能体系统失败难诊断问题。构建「Who&When」基准数据集，设计三种初步方法并评估，虽现有方法表现有限，但此研究意义重大，有望助力打造更可靠系统。
UIUC清华微软联合提出PlugMem：当Agent记忆告别「经历」，开始存储「经验」
随着大语言模型Agent长期运行，‘记忆该如何设计’成核心问题。UIUC、清华、微软联合提出PlugMem，将记忆拆分为三类，以知识为单位存储，在三类任务中验证其有效性，为Agent长期记忆设计提供新思路。
陶哲轩亲自曝光：AI破解数学难题，竟全是「抄」的？
数学大神陶哲轩发现，AI声称破解的Erdos难题，实则是多年前已被人类解决的旧闻。他指出当下AI进化逻辑并非创新，而是利用算力扫描人类文献的‘长尾黑洞’，其核心价值是填补人类知识遗忘漏洞。
刚刚，Claude独立攻克图论猜想，仅用31步！算法祖师爷高德纳震惊发文
Claude Opus 4.6仅用31步独立攻克图论猜想，算法祖师爷高德纳震惊发文，认为需重新评估生成式AI在数学研究中的作用。这标志着AI在自动推理和解决创造性问题上达到新里程碑。
定位大模型「作弊」神经回路！新研究首次揭示：虚假奖励如何精准激活第18-20层记忆
此前学术界发现大模型用虚假奖励训练也能提升准确率，背后微观机制是黑盒。南科大等团队深度拆解，定位到关键记忆节点，发现‘困惑度悖论’，还能操控记忆，成果对评估、检测和去污染有意义。