「SDE评测体系」共找到 1165 篇相关文章
工程知识引擎：Harness Engineering体系下的工程知识底座
现代软件开发中，AI编程智能体虽能写代码但难理解代码，缺乏工程约束与上下文支撑。为此构建工程知识引擎，整合多维数据源，有向量检索等六大能力，经评估可提升智能体效率与代码质量。
融合风控知识的大模型体系建设与应用实践
腾讯算法专家欧阳天雄在AICon大会分享《大模型驱动下的智能风控落地实践》，介绍腾讯天御融合海量风控知识构建金融风控大模型，解决传统风控模型难题，还展示构建技术、工程实践及落地案例，为金融风控提供新思路。
AI能否独立开展科研？ASI-Bench为科学自主性建立评测标尺
ASI-Bench是衡量AI系统科学自主性的基准测试，由多机构联合开发。它能测试AI通用智能、创新性和执行力，通过信息梯度设计，让模型在不同指导量下完成科研任务，结果显示当前AI离自主科研有明显距离。
大规模工程支撑场景下的多智能体系统设计：Grab 实践案例
Grab分析数据仓库（ADW）团队推出多智能体AI系统，处理数据仓库故障排查等工程请求，减少重复性运维。团队搭建多智能体架构，整合工具生态，考虑安全治理，解决上下文管理挑战，提升工作效率。
Claude 5史诗级泄露，史上最强编程模型评测炸裂！核心秘密曝光
Anthropic的Claude Sonnet 5即将发布，已存在于谷歌基础设施中，性能领先谷歌‘Snow Bunny’一代。它价格比Opus 4.5便宜50%，有100万token上下文窗口，SWE - Bench成绩超80.9%，还有自动开发团队模型。
BrowseComp等评测集第一，秘塔推出「深度研究」，已开启免费公开访问
世界变化快，AI领域新概念不断。秘塔在上线“浅度研究”五个月后，将其升级为“深度研究”。该模块最初由OpenAI推出，秘塔版可免费公开访问，准确率优，还让研究过程可见。
北大发布学术搜索评测ScholarSearch：难倒一众DeepResearch的“开卷考试”
北京大学DS - Lab发布ScholarSearch，这是评估大语言模型学术检索能力的数据集，含223道高难度题目。评估显示现有模型表现欠佳，纯推理模型准确率低，有搜索功能的模型虽有提升但仍不足。
71.2%的惊人解决率，伦敦大学开源顶级AI代码修复智能体系统
伦敦大学等发布Prometheus AI系统，它将代码库变成知识图谱，解决9种编程语言的GitHub问题。由五个智能体协作，解决率高、成本低且已开源，或为AI编程新方向。
ACL'25 | CIGEval：一种基于多模态大模型的可控生图评测智能体
阿里国际AI团队提出CIGEval，这是基于多模态大模型驱动的图像生成评估智能体框架。它集成多功能工具箱，通过任务拆解与工具调度提升评估准确性与可解释性，已在ComfyUI - Copilot上线。
检索做大，生成做轻：CMU团队系统评测RAG的语料与模型权衡
CMU团队在最新ECIR接收论文中，系统评估RAG语料规模与生成模型规模替代关系。实验表明，语料扩容可让小模型追上大模型，提升主要来自证据覆盖。研究为RAG系统提供更具性价比提升路径。