偏見審核結果摘要（HackerRank的圖像分析系統）

來自首席審核員的信

寄件人： Shea Brown

           首席審核員
           BABL AI Inc.
           sheabrown@babl.ai

收件人： Interviewstreet Incorporation (HackerRank)

      郵政信箱 1660
      Hope Street 211號
      Mountain View, California 94041

主旨： 對HackerRank圖像分析系統的審核意見 07/22/2024

我們已獨立審核了HackerRank（以下稱“公司”）截至2024年7月22日的偏見測試聲明及相關文件證據，並向BABL AI提交了有關公司圖像分析系統的資料，符合本報告中所列的標準和審核方法。本次審核的目標是：

1. 確定公司所採用的偏見測試方法、控制和程序是否符合審核標準（見 調查結果）

2. 獲得合理保證 公司所作聲明，包括本報告中呈現的偏見測試結果摘要，是否不存在重大錯誤陳述，無論是由於欺詐或錯誤。

請注意，本報告中所列標準是專門為滿足紐約市地方法第144號2021年偏見審核的要求而制定的。該模型被審核為一個自動就業決策工具（AEDT），符合2021年紐約市地方法第144號的規定，但我們不對該模型是否實際屬於此法律下的AEDT作出任何判斷。

公司責任

公司代表有責任確保偏見測試及相關程序符合本報告中列出的標準。公司代表負責確保提交的文件公正呈現且不含誤導，提供所有必要的資源和人員以確保審核過程的有效性和效率，並根據審核員的要求提供證據材料的存取權。

BABL AI的責任

作為首席審核員，負責對公司關於模型偏見測試的聲明發表意見。在目前缺乏普遍接受的算法和自主系統審核標準的情況下，我們的審查是根據本報告中列出的標準和規範進行的。

這些標準要求我們規劃並執行審核程序，以合理保證上述聲明是否符合審核標準且不存在重大錯誤陳述，無論是由於錯誤或欺詐。在我們的審查範圍內，我們執行了包括但不限於以下程序：

• 檢查提交的文件和外部文件證據

• 訪談公司員工，以了解判定偏差影響和風險評估結果的流程

• 觀察公司偏見測試中使用的選定分析程序

• 檢查偏見測試數據的抽樣樣本

• 詢問負責治理和監督偏見測試及風險評估的相關人員

我們相信所執行的程序為我們的意見提供了合理的依據。

獨立性

我們作為獨立審核員的角色符合ForHumanity和Sarbanes-Oxley對獨立性的定義。與此合同相關的費用是為了評估合規性提供服務。費用的支付與所作決定無關。我們的決定完全基於以下標準。

重點事項

我們強調與HackerRank用於測試差異影響的數據集相關的幾個事項：1）由於歷史使用系統時未提供自我申報的人口統計標籤，因此使用公開的“測試數據” (見 § 5-300)，來評估系統的偏見，2）測試數據的數量和質量（見 調查結果）有限。因此，從差異影響量化得出的結論受到數據集限制的影響，應在此限制下解讀。我們的意見未因該事項而修改。

系統描述

BABL AI受聘審核HackerRank的圖像分析系統（以下稱“系統”）。該系統定期捕捉候選人在評估過程中的多個網絡攝像頭圖像，並處理這些圖像以報告檢測候選人是否有可疑行為，例如藏匿自己或獲取他人未授權的幫助。對於一次評估會議，系統有三種檢測模式：

1. 無臉：在90%的捕捉圖像中未檢測到臉；
2. 多臉：在至少一張捕捉圖像中檢測到兩個或更多臉；以及
3. 次臉：在會議期間的不同時間檢測到兩個或更多的獨特臉。

系統提供這些模式的檢測報告並向用戶展示。招聘人員和招聘經理可以審查捕捉的圖像，以驗證是否有作弊行為，並決定是否讓候選人繼續進行下一步。

未被系統標記的候選人比例將用作屬於不同人口統計群體的候選人的選擇率。請注意，僅在第14頁的< a href='https://docs.google.com/document/d/152psYl9nKAyDpPdf7Ix7DmqGUHNjYk7xhSpGNvm6ogU/edit?pli=1#heading=h.lnxbz9' target='_blank' rel="noopener noreferrer">調查結果部分中顯示的“無臉”檢測模式的選擇率，因為無臉是系統的主要檢測模式，其未標記率等同於系統層級的未標記率。

審核摘要