「评估调试」共找到 777 篇相关文章
超越DeepSeek-R1，数学形式化准确率飙升至84% | 字节&南大开源
字节跳动Seed团队与南京大学联合发布CriticLean框架，将数学自然语言到Lean 4代码的形式化准确率从38%提升至84%。该框架创新性地将评估模型置于核心，解决语义对齐等问题，还构建了相关基准测试和数据集。
鹅厂实习生血泪贴：Agent/RAG黑科技，真相竟是这样！
腾讯实习生分享鹅厂项目实战经验，介绍Agent/RAG黑科技。先讲RAG原理、优化方法及评估流程，还提及文档解析；再阐述智能体定义、历史、原理、分类、评估框架与实践案例，助读者快速入门。
OpenAI研究大模型对GDP贡献，三大行业已能代替人类，并自曝不敌Claude
OpenAI推出新评估方法GDPval，跟踪模型在现实任务表现。评估显示前沿模型接近专家水平，Claude Opus 4.1表现最佳，GPT - 5准确性出色。还发布黄金子集和评分服务，其处于起步阶段将持续扩展。
评测也很酷，Data Agent 自动化评测的三层框架与实战
在大模型技术飞速发展下，评估应用效果成难题。字节跳动尹小明分享自动化评测技术，提出三层评测框架，还介绍 Text - to - SQL 及深度研究评测改进，以及评估平台建设，最后展望自动化评测未来方向。
Meta开始用KPI考核，强迫所有员工尽可能多使用AI
Meta从面试到绩效评估全方位推动员工使用AI。招聘允许用AI助手，2026年绩效评估将纳入“AI驱动的影响”，还推游戏和绩效助手鼓励员工用AI，这也是硅谷科技巨头的大势所趋。
GraphRAG圈新秀：文档级RAKG
随着大模型能力增强，知识图谱成研究热点。传统KGC有实体消歧难、模式僵化等痛点。文章提出RAKG框架，将RAG评估机制引入知识图谱构建，实现文档级自动化构建与评估，多指标表现优异。
了解下 FlashInfer SKILLS 写法
文章介绍 FlashInfer 的三个 SKILL 文件，涉及调试、性能测试、添加新 kernel 等开发场景。如通过装饰器做 CUDA 调试，提供两种计时方式做性能测试，还给出添加新 kernel 的 10 步流程及最终文件清单，实用价值高。
MMAR与AudioTrust技术解读，音频大模型评测前沿进展分享 | AI Bench Talk直播预告
司南评测集社区 CompassHub 收录多维度评测集。此次 AI Bench Talk 直播聚焦音频大模型，将分享评估其深度推理能力的 MMAR 及全方位可信评估框架 AudioTrust，还设圆桌讨论多模态/音频大模型相关议题。
ACL 2025 | 指令遵循不能仅靠常识？GuideBench 揭示大模型如何“踩雷”领域指南规则
这篇ACL 2025主会论文聚焦提升智能体指南规则遵循能力。提出评估基准GuideBench，涵盖7类1272个任务。实验显示多数主流大模型指令遵循能力不佳，尤其数学推理挑战大，为模型迭代提供评估基准。
LLM应用测试范式的进化
文章指出传统软件测试方法在LLM应用中存局限，探讨将其与AI评估结合应对挑战。抽象出LLM应用三层架构模型，分析传统测试范式适用性，介绍AI安全分析方法，阐述测试挑战、范式转变及协同测试策略。