偏见审计结果总结（HackerRank的图像分析系统）

来自首席审计员的信

发件人： Shea Brown

           首席审计员
           BABL AI Inc.
           sheabrown@babl.ai

收件人： Interviewstreet Incorporation (HackerRank)

      邮政信箱 1660
      Hope Street 211号
      Mountain View, California 94041

主题： 关于HackerRank图像分析系统的审计意见 2024/07/22

我们已于2024/07/22独立审查了HackerRank（“公司”）的偏差测试断言及相关文件证据，提交给BABL AI，涉及公司图像分析系统，符合本报告中制定的标准和审计方法。本次审计的目标是：

1. 确定公司执行的偏差测试方法、控制和程序是否满足审计标准（见 发现）

2. 合理保证 公司所作声明，包括本报告中呈现的偏差测试结果摘要，是否不存在重大错报，无论是由于欺诈还是错误。

请注意，本报告中提出的标准是专门为应对纽约市2021年地方法第144号中“偏差审计”要求而制定的。模型被审计为类似于纽约市地方法第144号下的自动化就业决策工具（AEDT），但我们不对模型是否实际上属于该法律定义的AEDT作任何判断。

公司责任

公司代表有责任确保偏差测试及相关程序符合本报告中列明的标准。公司代表负责确保提交的文件公正呈现且无虚假陈述，提供所有必要的资源和人员以确保审计过程的有效性和效率，并根据审计员的要求提供证据材料的访问权限。

BABL AI责任

首席审计员的责任是对公司关于模型偏差测试的断言表达意见。鉴于目前尚无普遍接受的算法和自主系统审计标准，我们的审查是依据本报告中概述的标准和规范进行的。

这些标准要求我们规划和执行审计程序，以合理保证上述断言满足审计标准（见 发现）并且不存在重大错报，无论是由于错误还是欺诈。在我们的职责范围内，我们执行了包括但不限于以下程序：

• 检查提交的文件和外部文件

• 访谈公司员工以了解

  确定差异影响和风险评估结果的过程

• 观察公司偏差测试中使用的分析程序

• 检查偏差测试数据的抽样样本

• 询问负责偏差测试和风险评估治理和监督的人员

我们相信所执行的程序为我们的意见提供了合理依据。

独立性

我们作为独立审计员的角色符合ForHumanity和萨班斯-奥克斯利关于独立性的定义。与本合同相关的费用是为了评估合规性的服务。费用的支付与所作决定无关。我们的决定完全基于以下标准。

重点事项

我们强调与HackerRank提供的用于测试差异影响的数据集相关的几个事项：1）由于历史使用系统时未提供自我声明的人口统计标签，因此使用了公开的“测试数据” (见 § 5-300)，以评估系统的偏差；2）测试数据的数量和质量（见 发现）有限。因此，从差异影响量化得出的结论受到数据集限制的影响，应结合此限制进行解读。我们对此事项的意见不作修改。

系统描述

BABL AI受聘审计HackerRank的图像分析系统（系统）。该系统定期捕获候选人在评估过程中的多张摄像头图像，并对其进行处理，以检测候选人是否存在可疑行为，例如隐藏自己或从他人获得未授权帮助。对于一次评估会话，系统有三种检测模式：

1. 无脸：在90%的捕获图像中未检测到脸；
2. 多脸：在至少一张捕获图像中检测到两个或更多脸；
3. 次级脸：在会话期间的不同时间检测到两个或更多唯一脸。

系统会提供这些检测模式的报告，并向用户显示。招聘人员和招聘经理可以审查捕获的图像，以验证是否存在作弊行为，并决定是否让候选人继续进行下一步。

未被系统标记的候选人比例将作为属于不同人口统计群体的候选人的选择率。请注意，页面14的< a href='https://docs.google.com/document/d/152psYl9nKAyDpPdf7Ix7DmqGUHNjYk7xhSpGNvm6ogU/edit?pli=1#heading=h.lnxbz9' target='_blank' rel="noopener noreferrer">“发现”部分仅显示无脸检测模式的选择率，因为无脸是系统的主要检测模式，其未标记率等同于系统层面的未标记率。

审计总结