黑客競賽的剽竊檢測系統對紐約市地方法案144的偏見審核結果摘要

來自首席審核員的信

寄件人： Shea Brown
           首席審核員
           BABL AI Inc.
           sheabrown@babl.ai

收件人： Interviewstreet Incorporation (HackerRank)
      PO Box 1660
      211 Hope Street
      Mountain View, California 94041

關於： 對HackerRank抄襲檢測系統的審核意見

2024/07/22

我們已於2024/07/22獨立審核了HackerRank（以下稱“公司”）的偏見測試聲明及相關文件證據，這些資料已提交給BABL AI，與公司之抄襲檢測系統（以下稱“系統”）相關，並符合本報告中所列的標準和審核方法。本次審核的目標是：

1. 確定公司所執行的偏見測試 方法、控制措施和程序是否符合審核標準（見 調查結果）

2. 獲得合理保證 公司所作聲明，包括本報告中呈現的偏見測試結果摘要，是否不存在重大錯誤陳述，無論是由於欺詐或錯誤。

請注意，本報告中所列的標準是專門為滿足紐約市地方法第144號2021年“偏見審核”要求而制定的。系統被審核時，假設它是一個自動化就業決策工具（AEDT），根據紐約市地方法第144號2021年，但我們不對該系統是否實際屬於此法律下的AEDT作出任何判斷。

公司責任

BABL AI 職責

由首席審計師表達對公司關於系統偏見測試的聲明的意見是其責任。在目前缺乏普遍接受的算法和自主系統審計標準的情況下，我們的檢查是根據本報告中概述的標準和規範參考進行的。

這些標準要求我們規劃並執行審計程序，以合理確信上述聲明是否 1) 符合審計標準，2) 無重大錯誤或欺詐的誤報。在我們的委託範圍內，我們執行了包括但不限於以下程序：

• 檢查提交的文件和外部文件

• 訪談公司員工，以了解用於

  確定差異影響和風險評估結果的流程

• 觀察公司偏見測試中使用的選定分析程序

• 檢查偏見測試數據的抽樣樣本

• 詢問負責偏見測試和

  風險評估的治理和監督人員

我們相信所執行的程序為我們的意見提供了合理的依據。

獨立性

我們作為獨立審計師的角色符合ForHumanity和薩班斯-奧克斯利（Sarbanes-Oxley）對獨立性的定義。與本合同相關的費用是為了提供合規性評估服務。費用的支付與所作決定無關。我們的決定完全基於以下提出的標準。

意見

根據我們執行的程序和獲得的證據以獲得保證，我們認為公司於2024年7月22日所呈現的偏見測試及結果，已在所有重大方面按照以下標準準備。

誠摯地，

Shea Brown, Ph.D.
首席審計師，BABL AI Inc.

重點事項

我們強調與 HackerRank 提供的資料集相關的幾個事項，以測試差異影響：1) 系統未提供自我申報的人口統計標籤，因此性別和種族/族裔標籤是推斷得出的，2) 使用推斷的人口統計標籤意味著資料可能被視為根據 § 5-3001 的“測試資料”，以及 3) 測試資料的數量和品質（見 調查結果）因缺乏歷史資料而受到限制。因此，從差異影響量化得出的結論受到資料集限制的影響，應在此限制下解讀。我們對此事項的意見不作修改。

1 這由紐約市消費者與工人保護局自行決定。 4

系統描述

BABL AI 受聘審核 HackerRank 的剽竊偵測系統測試。

來自 HackerRank：“剽竊偵測系統利用用戶產生的信號進入先進的機器學習算法，以標記在評估過程中可疑的行為。通過了解候選人所做的程式碼迭代，模型可以預測他們是否獲得了重大外部幫助。

值得注意的是，... [HackerRank] 為防止可能的偏見，採取了以下措施，與個人身份資訊（PII）、程式習慣或題目難度相關的偏見：

• 在訓練或推理時不包含種族、性別或個人身份資訊。

• 模型中不使用打字速度數據，因為我們認為打字速度更像是

  個人習慣，而非剽竊指標。

• 特徵在相同題目下進行正規化，以最小化來自不同題目難度的偏見。

• 人類在決策中的參與：機器學習程式碼剽竊系統永遠不會自動將候選人從模型預測中剔除。相反，我們提供一份詳細的可疑行為報告，讓客戶自行審查並檢查程式碼重播，以決定是否讓候選人繼續。

審核摘要

背景

紐約市地方法第144號（2021年）要求每年對用於大幅協助或取代招聘或晉升決策的自動化就業決策工具（AEDTs）進行“偏見審核”。具體而言，該法律規定：(1) 偏見審核必須“評估 [AEDTs] 對特定人群的差異影響”，(2) 審核必須由“獨立審核員……不超過一年前進行”，以及 (3) “最近一次偏見審核的結果摘要……必須在雇主或就業機構的網站上公開”。本文檔中概述的審核僅為滿足法律對偏見審核的要求，並不包括其他要求，如候選人通知。本報告不對該系統是否為根據紐約市地方法144號定義的自動化就業決策工具作出任何判斷。

審核員責任

BABL AI 審核員的責任包括：

1. 獲得合理保證 關於被審核方所作聲明是否不存在重大錯誤陳述，無論是由於欺詐或錯誤，

2. 確定所作聲明 是否提供足夠證據證明審核標準（見 發現）已被滿足，並

3. 發布審核報告 其中包含意見。

作為符合良好審計實踐的審計的一部分，BABL AI 行使專業判斷並在整個審計過程中保持專業懷疑。具體而言，BABL AI 審核員識別並評估被審核方提供的文件中重大錯誤陳述的風險，執行對應這些風險的審計程序，並獲取充分且適當的審計證據，以作為我們意見的基礎，根據公共公司會計監督委員會（PCAOB）對審計證據的審計標準 1105，2 在適用時。此外，本審計報告遵循國際保證業務標準（ISAE）3000 有關保證報告的指南（如適用）。3

BABL AI 亦負責維持審核員的獨立性和客觀性，以確保所提供意見和認證的完整性。BABL AI 作為一個組織，以及所有員工和合同審核員，遵守由薩班斯–奧克斯利法案（2002年）所規範的嚴格獨立性，以及 ForHumanity 的道德準則。5 此外，BABL AI 的首席審核員是 NYC AEDT 偏見審核的 ForHumanity 認證審核員。6 有關我們的方法論和流程的更多詳情，請參閱附錄 – 審核方法論。

2 https://pcaobus.org/oversight/standards/auditing-standards/details/AS1105
3 https://www.iaasb.org/publications/international-standard-assurance-engagements-isae-3000 -revised-assurance-engagements-other-audits-or-0

範圍與目標

範圍外

1. 審核未能確保對除種族/族裔和性別之外的任何其他受保護類別的工具差異影響進行充分測試

2. 審核未能證明系統是“無偏見”

3. 此審核不適用於除紐約市地方法案第144號之外的任何立法的合規目的

4 https://www.govinfo.gov/content/pkg/PLAW-107publ204/pdf/PLAW-107publ204.pdf
5 https://forhumanity.center/code-of-ethics/
6 https://forhumanity.center/nyc-bias-audit/

結論

我們對 抄襲檢測系統 由 HackerRank 進行偏見審核的意見如下：

調查結果

注意： 在每個標準下披露的信息並非文件證據。

差異影響量化

測試的組件或組件組合: N/A

測試由: HackerRank
上次測試日期: 05/10/2023
資料的時間範圍: 2022年11月 – 2023年2月

使用測試資料的理由: 來自 HackerRank：“鑑於我們與客戶之間的資料保護合約，選擇開源庫進行姓名到種族和姓名到性別的估算，因為不需要將資料傳輸到其他供應商。”

量化不平等影響的PCV：

1. 性別
2. 種族/族裔

未量化不平等影響的PCV：

1. 年齡

2. 移民或公民身份

3. 殘疾狀況

4. 婚姻狀況和伴侶關係狀況

5. 國籍

6. 懷孕和哺乳照顧

7. 宗教/信仰

8. 性取向

9. 退伍軍人或現役軍人身份

正面結果: 未被系統標記

用戶可配置的設置，可能影響正面結果: N/A

測試差異影響的設置: N/A

量化差異影響的方法: 選擇率定義為在某個人口群中未被系統標記的候選人比例

非交叉性別，按影響比率排序

非交叉性別，按種族/族裔排序

交叉性

注意: 上述計算未包含這些申請人的數據：

1. 性別未知的申請人123人
2. 種族/族裔未知的申請人1053人，並且
3. 至少具有未知性別或未知種族/族裔的申請人1176人

7 N/A 指代表少於總N申請數2%的族群

治理

負責方: 自動決策工具委員會
聯絡資訊: rohan.raman@hackerrank.com
在被審核組織中的角色: 治理團隊/委員會

風險評估

風險評估完成證據: 風險評估文件（風險評估電子表格和敘述性筆記），以及來自風險評估參與者的口頭證詞。

附錄

審計方法論

流程審計

BABL AI 審計框架是的 流程審計，定義為“由獨立審計員進行的公正驗證和評估過程，以確定是否存在足夠的證據來判斷 AI 風險已被預防、檢測、緩解或以其他方式管理。”流程審計模仿財務審計實踐，作為一個 合作第三方 審計，並且與其他常用的算法評估形式（如第一方或第二方評估，以及保證）區分開來。8 審計框架包含三個階段：

1. 範圍界定 – 審計員對被審計方的算法進行初步調查，以全面了解並將文件證據置於背景中

2. 評估與驗證 – 被審計方提交包含證明滿足審計標準的證據的文件，審計員對其進行評估和驗證。

3. 認證 – 如果被審計方被判定符合審計標準，審計員將起草審計報告並認證被審計方的算法。

評估與驗證

所有 BABL AI 審計員進行流程審計的程序遵循在適用情況下由公共公司會計監督委員會（PCAOB）制定的審計證據審計標準 1105。具體而言，審計員：

1. 獲取審計申索和聲明 來自被審計方提交的文件，這些文件支持或反駁標準和子標準，

2. 評估申索和聲明 關於滿足標準和子標準，基於證據的 充分性 和 適當性 ，以及

3. 驗證被審計方所作的申索和聲明 是否不存在重大錯誤，無論是由於欺詐還是錯誤。 9

8 Carrier, R., & Brown, S. (2021). Taxonomy: AI Audit, Assurance & Assessment. ForHumanity.

https://forhumanity.center/blog/taxonomy-ai-audit-assurance-assessment/

9 “合理保證”是一個高水平的保證，但並不保證按照良好的審計實踐進行的審計總能在存在重大錯誤時檢測到。錯誤可能由欺詐或錯誤引起，並且如果單獨或合計起來，合理預期會影響利益相關者根據這些聲明做出的決策，則被視為重大。

此外，對索賠和聲明的評估與驗證可能涉及請求額外的支持性文件證據，和/或訪談負責算法治理的相關人員、受審組織的其他相關員工或提交的文件中提及的其他第三方。

最後，審計員根據以下內容得出審計意見：

1. 審計證據的 充分性 和 適當性 ，以及

2. 審計證據的重大錯報風險。