「评测指南」共找到 949 篇相关文章
Anthropoic:拒绝率是个会骗人的安全指标
Anthropic 发布安全评测指南,指出单纯统计拒绝率会误判安全性。例如面对自残危机生硬拒绝反而是失败,应改测多轮对话中的恰当回应率,并结合成对测试与人工校准。
从代码基座模型到智能体与应用:代码智能的全面综述与实践指南
北航、阿里等机构联合发布论文,系统梳理 2021 - 2025 年代码大模型发展。介绍代码基座模型、评测任务、对齐技术等,还提及软件工程智能体、安全防御及训练指南,预言未来编程走向。
让 AI 组队干活,最强模型也只完成约一半任务:AgentWorld 如何评测 Agent 协作能力?
单个AI Agent能力不断提升,但多智能体协作能力缺乏系统评测。本文介绍新推出的AgentWorld评测基准,结合长时程任务、角色不对称与黑盒交互,评测多智能体协作能力,给出主流大模型的协作表现数据。
YC 编写的 《Vibe Coding 指南》
本文是 YC 编写的《Vibe Coding 指南》,采访多位创始人总结出 AI 协作编程指南,涵盖规划流程、版本控制、测试框架等多方面,还提及 AI 在编码外的应用及持续改进方法。
构建 Agent Native 软件的完整技术指南
Dan Shipper 和 Claude 联合撰写构建 Agent 原生软件技术指南,总结如何重新思考软件架构,让 Agent 成软件一等公民。指南源于实战,介绍构建原则、方法、执行模式等,还提及产品影响、移动端挑战及应对。
具身智能迈入下半场,RoboMemArena全面评测机器人记忆系统
香港科技大学(广州)等多机构打造具身智能评测基准 RoboMemArena,突破传统局限,构建综合评测体系,配套真机测评。它提供多模态标注,任务长程多样,开源资源易用,PrediMem 在其上表现出色。
不止修bug:Agentic Coding评测走向复杂feature交付新阶段
中国科学院自动化研究所联合华为提出 FeatureBench,构建端到端基础设施并开源。它从单元测试出发构造评测任务,引入多种机制保障任务可执行、可验证,能有效区分模型能力,还提供易用的评测流程。
突破泛化瓶颈:阿里云智能运维 Agent 评测体系实践
大模型 Agent 在智能运维场景落地常遇泛化难题。阿里云李也博士介绍利用评测集验证和提升智能运维算法泛化性的实践,阐述评测集重要性、构建方法,还展示其在提升智能运维 Agent 能力上的成效。
Anthropic:警惕评测排行榜!差别可能只是机器的内存更大,而已
Anthropic发工程博客指出,AI编程评测排行榜上排名前列的模型分差小,而运行环境硬件配置能让分数波动6个百分点。同一模型在不同沙箱策略下分数不同,资源配置影响评测结果,排行榜分数差距或因硬件。
卡帕西推荐的AI Coding指南:3招教你效率翻倍
大神卡帕西和OpenAI总裁转发推荐的AI Coding指南,由Peter Steinberger撰写。指南给出三大关键策略,即按任务类型选对模型、重构工作流、做好人机分工,还分享实用小技巧。