「软件评测」共找到 1248 篇相关文章
揭秘大模型评测：如何用“说明书”式方法实现业务场景下的精准评估
文章系统性介绍业务场景下大模型评测流程，包括需求分析、评测集设计生成、维度设定、任务执行和报告输出。指出评测挑战，如设计维度和集，还给出评测方法及案例，像蚂蚁评测集、业务自动化评测。
翻译：代码日趋廉价，软件依然昂贵
Claude Code等大语言模型工具强大，让软件构建门槛崩塌，迎来个人化软件时代。但构建有价值软件门槛仍高，代码虽廉价，软件维护等成本贵。工程师价值转向系统架构，真正挑战是分发和分辨实用价值。
AI修Bug新SOTA：SWE-Bench Lite60.33%修复率，像人一样能积累经验，中科院软件所出品
ExpeRepair是中科院软件所团队推出的仓库级缺陷修复系统，模拟人类认知的情景和语义两种记忆模式，能积累经验。在SWE - Bench Lite评测中，其Claude - 4+o4 - mini组合修复率达60.3%居首。
HarnessEval 来了！开启 RSI 时代的新评测范式！
过去一年AI进入RSI时代，但评测方式仍停留在过去。MirroS联合多方发布HarnessEval，将Harness引入评测领域，使评测成为具备自我进化能力的智能系统，还率先应用于交互式世界模型评测。
AI，正在吞噬所有软件。
作者从用户体验设计师和公司创始人视角，探讨AI时代软件的变革。人人能造软件，成本降低；软件从资产变耗材；Agent填平人机交互鸿沟，产品形态转向Skills；用户可能不再是人；中间层正消亡。
上海交大/上海AI Lab翟广涛：当评测不再重要，AGI就实现了
上海交通大学教授翟广涛认为完美的AI评测体系等同于通用人工智能。当下评测体系存在数据污染、原子化能力评测局限等问题，他主张回归‘以人为本’，团队提出相关框架和技术路径，目标是训评一体。
大模型微调评测入门：看懂这些指标，才知道模型好不好
文章指出大模型微调中很多新手重“调”轻“评”，评测是决定模型落地的关键。介绍分类和生成任务评测指标，给出实操步骤，还说明如何综合判断模型好坏，最后展望评测技术朝自动化等方向发展。
AI医生终于有了硬标尺！全球首个专病循证评测框架GAPS发布，蚂蚁联合北大王俊院士团队出品
蚂蚁健康与北大王俊院士团队发布全球首个大模型专病循证能力评测框架GAPS及评测集GAPS - NSCLC - preview，解决现有医疗AI评测局限，成果已应用于“蚂蚁阿福”，并客观评价了大模型临床能力。
「神经软件」正在到来，人类代码将失去意义！
Lambda Labs CEO Stephen Balaban 在英伟达 GTC 2025 提出神经软件概念，指不再写代码，让大语言模型成软件。它没传统软件的 bug 问题，未来计算机或端到端神经化，虽有争议，但变革在加速。
Karpathy 最新演讲精华：软件3.0时代，每个人都是程序员
Andrej Karpathy 在 YC 旧金山创业大会演讲，介绍软件从 1.0 到 3.0 的演变，指出软件 3.0 由 LLMs 驱动，自然语言提示成编程方式。还阐述 LLMs 特性、机遇与挑战，强调为 Agent 构建软件等内容。