「代码评估数据集」共找到 4425 篇相关文章
MMAR与AudioTrust技术解读，音频大模型评测前沿进展分享 | AI Bench Talk直播预告
司南评测集社区 CompassHub 收录多维度评测集。此次 AI Bench Talk 直播聚焦音频大模型，将分享评估其深度推理能力的 MMAR 及全方位可信评估框架 AudioTrust，还设圆桌讨论多模态/音频大模型相关议题。
1周半写64个PR、完成30%项目重构：一家成熟SaaS公司把Agent塞进研发全流程后
Calendly公开Agentic Engineering实践，Agent嵌入研发全流程，如审查需求、写代码、测试等。一周半内，Agent为IAM团队生成64个PR，完成30%项目重构。研发瓶颈从写代码转为判断力，强调好需求与护栏重要性。
ACL 2025 | 指令遵循不能仅靠常识？GuideBench 揭示大模型如何“踩雷”领域指南规则
这篇ACL 2025主会论文聚焦提升智能体指南规则遵循能力。提出评估基准GuideBench，涵盖7类1272个任务。实验显示多数主流大模型指令遵循能力不佳，尤其数学推理挑战大，为模型迭代提供评估基准。
AI 时代到底该怎么管一个工程团队
Fiona Fung在Anthropic大会分享AI时代管理工程团队经验，指出软件工程瓶颈转移，需重构流程，介绍了少做和多做的事、技术辩论方式、代码评审分工等内容，还提及组织形态、指标及未解决的问题。
终于有了一个用龙虾而不是 Claude Code 的理由
作者作为有十年多代码经验的人，原本习惯用Claude Code等白盒工具。但在文档处理、多人协作等场景中，飞书OpenClaw优势明显，可一键部署多智能体，与飞书生态打通，还能自动修复异常。
LLM应用测试范式的进化
文章指出传统软件测试方法在LLM应用中存局限，探讨将其与AI评估结合应对挑战。抽象出LLM应用三层架构模型，分析传统测试范式适用性，介绍AI安全分析方法，阐述测试挑战、范式转变及协同测试策略。
大模型也需要自我反思，上海AI Lab合成“错题本”让大模型数学成绩提升13.3%
上海AI Lab提出LEMMA方法，构建“错误 - 反思 - 修正”数据，让大模型从错误中学习。通过教师模型定向制造“学生会犯的错”构造数据，实验显示在Llama3 - 8B上数学解题准确率提升13.3%。
28岁Alexandr Wang，没走！小扎晒出合照
近日网传华裔天才Alexandr Wang被架空或离职，小扎晒合影辟谣。同时，小扎官宣成立「AI工程部门」，与MSL合作打造数据引擎。Meta开发的牛油果模型被指能力强，若效率数据属实，或为Meta带来利好。
小模型也能精确计算：WorldModel-Qwen的推理时代码执行实验
开发者bigattichouse让Qwen - 0.6B小模型推理时生成并执行WASM代码获计算结果。最初尝试加标签生成Python代码效率低，后用WASM，创建三层架构。虽结果未完美，但接近，还通过Gemini审查验证。
杭州跑出的AI独角兽，突围大模型的“第二战场” | 甲子光年
2025年AI行业有转变，算力堆叠对大语言模型性能提升放缓，空间智能成“第二战场”。谷歌、英伟达等巨头纷纷布局，群核科技作为杭州“变量”，发布业界首个3D室内空间大模型，构建数据飞轮，技术有望落地多领域。