Podsumowanie wyników audytu uprzedzeń (System analizy obrazów HackerRank)

Last updated: December 12, 2024

 

List od głównego audytora

Od: Shea Brown

           Główny audytor
           BABL AI Inc.
 sheabrown@babl.ai

Do: Interviewstreet Incorporation (HackerRank)

      PO Box 1660
      211 Hope Street
 Mountain View, Kalifornia 94041

Re: Opinia audytowa na temat systemu analizy obrazów HackerRank 22/07/2024

Przeprowadziliśmy niezależny audyt twierdzeń dotyczących testowania uprzedzeń i powiązanych dokumentów dowodowych HackerRank (zwanej dalej "Firmą") na dzień 22/07/2024, przedstawionych BABL AI w związku z Systemem Analizy Obrazów firmy, zgodnie z kryteriami i metodologią audytu określoną w tym raporcie. Celem tego audytu jest:

  1. Określenie, czy metodologia testowania uprzedzeń, kontrole i procedury przeprowadzone przez Firmę spełniają kryteria audytu (zobacz Wyniki)

  2. Uzyskanie rozsądnego zapewnienia czy oświadczenia składane przez Firmę, w tym podsumowanie wyników testowania uprzedzeń przedstawione w tym raporcie, są wolne od istotnych błędów, czy to z powodu oszustwa, czy błędu.

Zauważ, że kryteria przedstawione w tym raporcie zostały skonstruowane specjalnie w celu spełnienia wymagań "audytu uprzedzeń" określonych w lokalnym prawie NYC nr 144 z 2021 roku. Model był audytowany tak, jakby był automatycznym narzędziem decyzyjnym zatrudnienia (AEDT) zgodnie z lokalnym prawem NYC nr 144 z 2021 roku, ale nie podejmujemy żadnych decyzji, czy model jest, w rzeczywistości, AEDT zgodnie z tym prawem.

Obowiązki firmy

Obowiązkiem przedstawicieli firmy jest zapewnienie, że testy uprzedzeń i powiązane procedury są zgodne z kryteriami opisanymi w tym raporcie. Przedstawiciele firmy są odpowiedzialni za zapewnienie, że złożone dokumenty są uczciwie przedstawione i wolne od fałszerstw, za zapewnienie wszelkich zasobów i personelu potrzebnych do skutecznego i efektywnego przeprowadzenia audytu oraz za zapewnienie dostępu do materiałów dowodowych na żądanie audytorów.

Obowiązki BABL AI

Obowiązkiem głównego audytora jest wyrażenie opinii na temat twierdzeń firmy związanych z testowaniem uprzedzeń modelu. W świetle obecnego braku powszechnie akceptowanych standardów audytu algorytmów i systemów autonomicznych, nasze badanie zostało przeprowadzone zgodnie z normami i odniesieniami normatywnymi opisanymi w tym raporcie.

Te standardy wymagają, abyśmy planowali i wykonywali procedury audytowe w celu uzyskania rozsądnego zapewnienia, czy twierdzenia wymienione powyżej 1) spełniają kryteria audytu i 2) są wolne od istotnych błędów, czy to z powodu błędu, czy oszustwa. W ramach naszego zaangażowania przeprowadziliśmy między innymi następujące procedury:

  • Inspekcja złożonych dokumentów i dokumentacji zewnętrznej

  • Przeprowadzanie wywiadów z pracownikami firmy w celu zrozumienia procesu

    określania wyników wpływu rozbieżności i oceny ryzyka

  • Obserwacja wybranych procedur analitycznych stosowanych w testowaniu uprzedzeń firmy

  • Inspekcja wybranych próbek danych testowych uprzedzeń

  • Zapytanie personelu odpowiedzialnego za zarządzanie i nadzór nad testami uprzedzeń i

    oceną ryzyka

Uważamy, że przeprowadzone procedury zapewniają rozsądną podstawę do naszej opinii.