黑客排名抄袭检测系统对纽约市地方法案144的偏见审计结果总结

来自首席审计员的信

发件人： Shea Brown
         首席审计员
         BABL AI Inc.
         sheabrown@babl.ai

收件人： Interviewstreet Incorporation (HackerRank)
    邮政信箱 1660
    211 Hope Street
    Mountain View, California 94041

主题： 关于HackerRank抄袭检测系统的审计意见

2024/07/22

我们已在2024/07/22对HackerRank（“公司”）的偏见测试断言及相关文件证据进行了独立审计，内容涉及公司关于抄袭检测系统（“系统”）的陈述，依据本报告中制定的标准和审计方法。此次审计的目标是：

1. 确定公司所采用的偏见测试 方法、控制措施和程序是否符合审计标准（见 发现）

2. 获得合理保证 关于公司所作陈述的真实性，包括本报告中呈现的偏见测试结果摘要，是否不存在重大误报，无论是由于欺诈还是错误。

请注意，本报告中提出的标准是专门为满足纽约市2021年地方法第144号中“偏见审计”要求而制定的。系统的审计是将其视为一款自动化就业决策工具（AEDT），依据2021年纽约市地方法第144号，但我们不对该系统是否实际上属于此类工具作任何判断。

公司责任

BABL AI 职责

首席审计员有责任对公司关于系统偏差测试的断言表达意见。在目前缺乏普遍接受的算法和自主系统审计标准的情况下，我们的审查是按照本报告中概述的标准和规范性参考进行的。

这些标准要求我们规划和执行审计程序，以合理保证上述断言是否 1) 满足审计标准，2) 不存在重大错报，无论是由于错误还是舞弊。在我们的委托范围内，我们执行了包括但不限于以下程序：

• 提交文件和外部文件的检查

• 采访公司员工以了解用于

  确定差异影响和风险评估结果的流程

• 观察公司偏差测试中使用的选定分析程序

• 对偏差测试数据的抽样样本进行检查

• 询问负责偏差测试和风险评估治理和监督的人员

  人员

我们相信所执行的程序为我们的意见提供了合理的依据。

独立性

我们作为独立审计员的角色符合ForHumanity和萨班斯-奥克斯利（Sarbanes-Oxley）对独立性的定义。与本合同相关的费用是为了提供合规性评估服务。费用的支付与所作决定无关。我们的决定完全基于以下提出的标准。

意见

根据我们执行的程序和获得的证据以获得保证，我们认为公司截至2024年7月22日提供的偏差测试及结果，已在所有重大方面按照以下标准准备。

此致，

Shea Brown, Ph.D.
首席审计员，BABL AI Inc.

重点事项

我们强调与 HackerRank 提供的数据集相关的几个事项，以测试差异影响：1）系统未提供自我声明的人口统计标签，因此性别和种族/族裔标签是推断的，2）使用推断的人口统计标签意味着数据可能被视为《§ 5-3001》下的“测试数据”，以及 3）测试数据集的数量和质量（见发现）由于缺乏历史数据而受到限制。因此，从差异影响量化得出的结论受到数据集限制的影响，应结合这一限制进行解读。我们对此事项的意见不变。

1 这是由纽约市消费者与工人保护局自行决定的。4

系统描述

BABL AI 被聘请对 HackerRank 的抄袭检测系统进行审计。

来自 HackerRank：“抄袭检测系统使用用户生成的信号输入到一个先进的机器学习算法中，以标记在评估过程中可疑的行为。通过理解候选人所做的代码迭代，模型可以预测他们是否得到了重大外部帮助。”

值得注意的是，... [HackerRank] 为防止潜在偏见，采取了以下措施，涉及个人身份信息（PII）、编码习惯或题目难度相关偏见：

• 在训练或推断时没有使用种族、性别或个人身份信息。

• 模型中不使用打字速度数据，因为我们认为打字速度更像是

  个人习惯，而非抄袭指标。

• 特征在相同题目中进行归一化，以最小化不同题目难度带来的偏差。

• 人机决策：机器学习编码抄袭系统永远不会自动将候选人从模型预测中剔除。相反，我们提供一份详细的可疑尝试报告，我们的客户可以自行审查详细报告并检查代码重放，以决定是否将候选人推进。

审计摘要

背景

纽约市地方法第144号（2021年）要求每年对自动就业决策工具（AEDTs）进行“偏见审计”，这些工具被用来实质性协助或取代招聘或晋升中的决策。具体而言，法律规定：(1) 偏见审计必须“评估 [AEDTs] 对特定人员的差异影响”，(2) 审计必须由“独立审计员……不超过一年前进行”，以及 (3) “最近一次偏见审计的结果摘要……必须在雇主或就业机构的网站上公开”。本文档中概述的审计仅为满足法律对偏见审计的要求，不包括其他要求，如候选人通知。本报告不对该系统是否为根据纽约市地方法144号定义的自动就业决策工具作出任何判断。

审计员职责

BABL AI审计员的职责包括：

1. 获得合理保证 关于被审计方所作陈述是否不存在重大错报，无论是由于欺诈还是错误，

2. 确定陈述 是否提供了充分的证据证明审计标准（见 发现）已被满足，

3. 发布审计报告 其中包含意见。

作为符合良好审计实践的审计的一部分，BABL AI行使专业判断并在整个审计过程中保持专业怀疑。具体而言，BABL AI审计员识别并评估被审计方提供的文件中重大错报的风险，执行响应这些风险的审计程序，并获取充分且适当的审计证据，为我们的意见提供基础，依据公众公司会计监督委员会（PCAOB）关于审计证据的审计标准1105，2 （如适用）。此外，本审计报告遵循国际保证业务标准（ISAE）3000关于保证报告的指南（如适用）。3

BABL AI还负责维护审计员的独立性和客观性，以确保所提供的意见和认证的完整性。BABL AI作为一个组织，以及所有员工和合同审计员，遵守由萨班斯–奥克斯利法案（2002年）和ForHumanity的道德准则所规定的严格独立性。5 此外，BABL AI的首席审计员是根据纽约市AEDT偏见审计认证的ForHumanity认证审计员。6 有关我们方法和流程的更多细节，请参阅附录——审计方法论。

2 https://pcaobus.org/oversight/standards/auditing-standards/details/AS1105
3 https://www.iaasb.org/publications/international-standard-assurance-engagements-isae-3000 -revised-assurance-engagements-other-audits-or-0

范围与目标

不在范围内

1. 审计未确保对工具在除种族/族裔和性别之外的任何其他受保护类别的差异影响进行了充分测试

2. 审计未证明系统是“无偏”的

3. 审计不用于遵守除纽约市地方法第144号以外的任何立法的目的

4 https://www.govinfo.gov/content/pkg/PLAW-107publ204/pdf/PLAW-107publ204.pdf
5 https://forhumanity.center/code-of-ethics/
6 https://forhumanity.center/nyc-bias-audit/

结论

我们对 抄袭检测系统 由 HackerRank 的偏见审计的意见如下：

发现

注意： 每个标准下披露的信息不构成书面证据。

差异影响量化

被测试的组件或组件组合: 不适用

测试由: HackerRank
上次测试日期: 2023/10/05
数据时间范围: 2022年11月 – 2023年2月

使用测试数据的理由: 来自 HackerRank：“鉴于我们与客户之间的数据保护合同，选择开源库进行姓名到种族和姓名到性别的估算，因为不需要将数据传输到其他供应商。”

量化不平等影响的PCV：

1. 性别
2. 种族/民族

未量化不平等影响的PCV：

1. 年龄

2. 移民或公民身份

3. 残疾状态

4. 婚姻状况和伴侣关系状况

5. 民族出身

6. 孕期和哺乳期 accommodations

7. 宗教/信仰

8. 性取向

9. 退伍军人或现役军人身份

积极结果: 未被系统标记

用户可配置设置可能影响积极结果: 不适用

测试差异影响的设置: 不适用

量化差异影响的方法： 选择率定义为在某一人口群体中未被系统标记的候选人的比率

非交叉、性别、按影响比排序

非交叉、种族/族裔、按影响比排序