「评估体系」共找到 1237 篇相关文章
斯坦福临床医疗AI横评，DeepSeek把谷歌OpenAI都秒了
斯坦福最新大模型医疗任务评测，构建含35个基准测试的MedHELM综合评估框架。结果显示，DeepSeek R1以66%胜率领先，o3 - mini等模型也各有表现，还分析了成本效益。
刚刚，大模型棋王诞生！40轮血战，OpenAI o3豪夺第一，人类大师地位不保？
国际象棋积分赛成果出炉，OpenAI o3以人类等效Elo 1685分夺冠，Grok 4和Gemini 2.5 Pro紧随其后。Kaggle发布国际象棋文本排行榜，评估模型战略推理等能力，还推出相关数据集，虽有局限但意义重大。
利用大模型从开源情报中自动提取检测规则：LLMCloudHunter，有开源
随着网络攻击增加，威胁情报成主动安全关键。以色列本古里安大学发布LLMCloudHunter框架，用大模型从开源情报自动生成检测规则，评估显示其规则质量高，且大部分能编译成Splunk查询，软件已开源。
拒绝传统 Router“瞎指挥”，多智能体如何实现智能任务分配？
企业级多智能体系统瓶颈常是负责分发任务的传统 Router 太“傻”，搞不定跨域、解不了冲突、跟不上变化。腾讯云开源 TCAR 智能路由模型，它先推理再选 Agent 集合，经多数据集评测表现出色，还提供完整开源范式。
国产GPU首获全球顶级推理框架「原生门票」：MUSA合入SGLang主线
近日，摩尔线程举办「SGLang × MUSA Meetup」，分享与 SGLang 社区及 MUSA 生态协同进展。其 MUSA 后端已加入 SGLang 官方支持体系，代码合入主线，还在多方面取得成果，众多开源项目核心维护者参与探讨国产 AI 算力。
刚刚，Claude独立攻克图论猜想，仅用31步！算法祖师爷高德纳震惊发文
Claude Opus 4.6仅用31步独立攻克图论猜想，算法祖师爷高德纳震惊发文，认为需重新评估生成式AI在数学研究中的作用。这标志着AI在自动推理和解决创造性问题上达到新里程碑。
定位大模型「作弊」神经回路！新研究首次揭示：虚假奖励如何精准激活第18-20层记忆
此前学术界发现大模型用虚假奖励训练也能提升准确率，背后微观机制是黑盒。南科大等团队深度拆解，定位到关键记忆节点，发现‘困惑度悖论’，还能操控记忆，成果对评估、检测和去污染有意义。
刚刚，OpenAI发长篇论文：大模型幻觉的原因找到了~
OpenAI发论文揭示语言模型出现幻觉的根本原因，即训练和评估过程奖励猜测而非承认不确定性。预训练阶段就埋下幻觉种子，后训练阶段‘考试机制’强化幻觉，还给出改评分规则的解法。
理解、生成、编辑一次搞定：Skywork UniPic 2.0的统一多模态解法｜甲子光年
电商团队常面临创作流程繁琐问题，当前行业需统一架构。昆仑万维发布Skywork UniPic 2.0，整合理解、生成、编辑功能。它参数小性能优，还构建奖励模型，配合其他模型构建体系，具成本等优势。
Harness Engineering？不过是把工程常识换个名字
Chayenne Zhao 发文炮轰 harness 概念，认为它只是工程常识换个名字。她以 SGLang 社区构建多智能体系统为例，阐述解决问题的方案和关键决策，还指出真正驱动改进是环境层面，而非模型。