Zusammenfassung der Bias-Audit-Ergebnisse des HackerRank-Plagiaterkennungssystems für das lokale Gesetz 144 der Stadt New York
Last updated: December 12, 2024
Brief vom Leitprüfer
Von: Shea Brown
Leitprüfer
BABL AI Inc.
sheabrown@babl.ai
An: Interviewstreet Incorporation (HackerRank)
Postfach 1660
211 Hope Street
Mountain View, Kalifornien 94041
Betreff: Prüfungsmeinung zum Plagiaterkennungssystem von HackerRank
22.07.2024
Wir haben die Unabhängige Überprüfung der Bias-Tests und der zugehörigen Dokumentationsnachweise von HackerRank (das "Unternehmen") zum Stand vom 22.07.2024 durchgeführt, die dem BABL AI im Zusammenhang mit dem Plagiaterkennungssystem des Unternehmens (das „System“) vorgelegt wurden, gemäß den in diesem Bericht festgelegten Kriterien und Prüfmethoden. Die Ziele dieser Prüfung sind:
Feststellen, ob die Bias-Testmethoden, Kontrollen und Verfahren, die vom Unternehmen durchgeführt werden, die Prüfungsstandards erfüllen (siehe
Angemessene Sicherheit
ob die vom Unternehmen gemachten Aussagen, einschließlich der Zusammenfassung der Bias-Testergebnisse, die in diesem Bericht präsentiert werden, frei von wesentlichen Falschaussagen sind, sei es durch Betrug oder Fehler.
Beachten Sie, dass die in diesem Bericht dargestellten Kriterien speziell für die Anforderungen eines „Bias-Audits“ gemäß dem NYC Local Law Nr. 144 von 2021 entwickelt wurden. Das System wurde geprüft, als ob es ein automatisiertes Entscheidungstool für Beschäftigungen (AEDT) im Sinne des NYC Local Law Nr. 144 von 2021 wäre, aber wir treffen keine Entscheidung darüber, ob das System tatsächlich ein AEDT im Sinne dieses Gesetzes ist.
Verantwortlichkeiten des Unternehmens
Es liegt in der Verantwortung der Vertreter des Unternehmens sicherzustellen, dass Bias-Tests und verwandte Verfahren den in diesem Bericht dargelegten Kriterien entsprechen. Die Vertreter des Unternehmens sind dafür verantwortlich, sicherzustellen, dass die eingereichten Dokumente fair dargestellt werden und frei von Falschdarstellungen sind, alle Ressourcen und das Personal bereitzustellen, die für einen effektiven und effizienten Prüfungsprozess erforderlich sind, und Zugang zu Beweismaterial zu gewähren, wie von den Prüfern angefordert.BABL AI Verantwortlichkeiten
Es liegt in der Verantwortung des leitenden Prüfers, eine Meinung zu den Behauptungen des Unternehmens im Zusammenhang mit dem Bias-Testing des Systems zu äußern. Angesichts des aktuellen Fehlens allgemein anerkannter Standards für die Prüfung von Algorithmen und autonomen Systemen wurde unsere Untersuchung gemäß den in diesem Bericht dargelegten Standards und Normverweisen durchgeführt.
Diese Standards verlangen, dass wir Prüfungsverfahren planen und durchführen, um eine angemessene Sicherheit darüber zu erhalten, ob die oben genannten Behauptungen 1) die Prüfungsstandards erfüllen und 2) frei von wesentlichen Falschdarstellungen sind, sei es durch Fehler oder Betrug. Im Rahmen unseres Auftrags haben wir unter anderem die folgenden Verfahren durchgeführt:
Inspektion der eingereichten Dokumente und externer Dokumentation
Interviews mit Mitarbeitern des Unternehmens, um ein Verständnis für den Prozess zur
Bestimmung der unterschiedlichen Auswirkungen und der Ergebnisse der Risikobewertung zu gewinnen
Beobachtung ausgewählter analytischer Verfahren, die im Bias-Testing des Unternehmens verwendet werden
Inspektion der ausgewählten Stichproben der Bias-Testing-Daten
Anfrage bei den für die Governance und Überwachung des Bias-Testing und
Risikobewertung verantwortlichen Personen
Wir sind der Ansicht, dass die durchgeführten Verfahren eine angemessene Grundlage für unsere Meinung bieten.
Unabhängigkeit
Unsere Rolle als unabhängiger Prüfer entspricht den Definitionen von ForHumanity und Sarbanes-Oxley bezüglich Unabhängigkeit. Die mit diesem Vertrag verbundenen Gebühren dienen der Erbringung der Dienstleistung zur Bewertung der Einhaltung. Die Zahlung der Gebühren ist nicht an die getroffene Entscheidung gebunden. Unsere Entscheidung basiert ausschließlich auf den unten dargestellten Kriterien.
Meinung
Unserer Meinung nach, basierend auf den durchgeführten Verfahren und den erhaltenen Beweisen zur Erlangung von Sicherheit, ist das Bias-Testing und die Ergebnisse, die vom Unternehmen vorgelegt wurden, zum 22.07.2024, in allen wesentlichen Belangen in Übereinstimmung mit den unten genannten Kriterien erstellt.
Mit freundlichen Grüßen,
Shea Brown, Ph.D.
Leitender Prüfer, BABL AI Inc.
Betonung der Angelegenheit
Wir heben mehrere Angelegenheiten im Zusammenhang mit dem Datensatz hervor, der von HackerRank bezogen wurde, um unterschiedliche Auswirkungen zu testen: 1) Selbstdeklarierte demografische Labels waren für das System nicht verfügbar, daher wurden Geschlecht und Rasse/Ethnie abgeleitet, 2) die Verwendung abgeleiteter demografischer Labels bedeutet, dass die Daten wahrscheinlich als „Testdaten“ gemäß § 5-3001 betrachtet werden, und 3) die Menge und Qualität des Testdatensatzes (siehe Ergebnisse) waren aufgrund des Mangels an historischen Daten begrenzt. Folglich unterliegen die aus der Quantifizierung der unterschiedlichen Auswirkungen gezogenen Schlussfolgerungen den Einschränkungen, die sich aus dem Datensatz ergeben, und sollten im Lichte dieser Einschränkung interpretiert werden. Unsere Meinung ändert sich in Bezug auf diese Angelegenheit nicht.
1 Dies liegt im Ermessen des NYC Department of Consumer and Worker Protection. 4
Systembeschreibung
BABL AI wurde beauftragt, die Tests von HackerRank für sein Plagiaterkennungssystem zu prüfen.
Von HackerRank: „Das Plagiaterkennungssystem verwendet nutzergenerierte Signale in einem fortschrittlichen maschinellen Lernalgorithmus, um verdächtiges Verhalten während einer Bewertung zu kennzeichnen. Durch das Verständnis der Code-Iterationen des Kandidaten kann das Modell vorhersagen, ob er erhebliche externe Hilfe hatte.
Es ist wichtig zu beachten,... [dass HackerRank] die folgenden Bemühungen unternommen hat, um potenzielle Vorurteile durch PII oder Programmiergewohnheiten oder Fragenkomplexität zu verhindern:
Keine Rasse-, Geschlechts- oder PII-Informationen im Training oder bei der Inferenz.
Es werden keine Tippgeschwindigkeitsdaten im Modell verwendet, da wir die Tippgeschwindigkeit eher als eine
persönliche Gewohnheit denn als Plagiatsindikator betrachten.
Merkmale werden in Bezug auf die gleiche Frage normalisiert, um den Bias durch unterschiedliche Schwierigkeitsgrade der Fragen zu minimieren.
Entscheidungen mit menschlicher Beteiligung: ML-Codierungsplagiat [System] wird niemals automatisch Kandidaten aus der Modellvorhersage ausschließen. Stattdessen stellen wir einen umfassenden Bericht über die verdächtigen Versuche bereit... Unsere Kunden können den detaillierten Bericht überprüfen und den Code-Wiedergabe selbst prüfen, um zu entscheiden, ob ein Kandidat weitergeführt werden soll.”
Zusammenfassung der Prüfung
Hintergrund
Das New Yorker Landesgesetz Nr. 144 von 2021 verlangt jährliche „Bias-Audits“ für automatisierte Beschäftigungsentscheidungs-Tools (AEDTs), die dazu verwendet werden, Entscheidungen bei Einstellungen oder Beförderungen wesentlich zu unterstützen oder zu ersetzen. Konkret besagt das Gesetz, dass (1) das Bias-Audit „die unterschiedliche Auswirkung [der AEDTs]“ auf bestimmte Personen bewerten muss, (2) das Audit von einem „unabhängigen Prüfer ... nicht mehr als ein Jahr vor der Verwendung“ durchgeführt werden muss, und (3) eine „Zusammenfassung der Ergebnisse des neuesten Bias-Audits ... [öffentlich zugänglich gemacht werden muss] auf der Website des Arbeitgebers oder der Beschäftigungsagentur.“ Das in diesem Dokument beschriebene Audit wurde durchgeführt, um die gesetzliche Anforderung nur für ein Bias-Audit zu erfüllen, und umfasst keine anderen Anforderungen wie Kandidatenbenachrichtigungen. Dieser Bericht trifft keine Aussage darüber, ob das System, das diesem Audit unterliegt, tatsächlich ein automatisiertes Beschäftigungsentscheidungs-Tool im Sinne des NYC Local Law 144 ist oder nicht.
Verantwortlichkeiten des Prüfers
Es ist die Verantwortung der BABL AI Prüfer:
Angemessene Sicherheit darüber zu erlangen, ob die vom Prüfling gemachten Aussagen frei von wesentlichen Falschdarstellungen sind, sei es durch Betrug oder Fehler,
Feststellen, ob die Aussagen des Prüflings ausreichende Beweise dafür liefern, dass die Prüfungsstandards (siehe Feststellungen) erfüllt wurden, und
Ein Prüfungsurteil ausstellen das eine Meinung enthält.
Im Rahmen einer Prüfung nach anerkannten Grundsätzen der Wirtschaftsprüfung übt BABL AI berufliches Urteilsvermögen aus und bewahrt während der gesamten Prüfung berufliche Skepsis. Insbesondere identifizieren und bewerten die Prüfer von BABL AI die Risiken wesentlicher Falschdarstellungen in den vom Prüfling bereitgestellten Dokumenten, führen prüfungsbezogene Verfahren durch, die auf diese Risiken reagieren, und erlangen Prüfungsnachweise, die ausreichend und geeignet sind, um eine Grundlage für unsere Meinung zu bieten, gemäß den Prüfungsstandards des Public Company Accounting Oversight Board (PCAOB) 1105 zum Prüfungsnachweis,2 wo anwendbar. Darüber hinaus folgt dieser Prüfungsbericht den Richtlinien des International Standard on Assurance Engagements (ISAE) 3000 für Assurance-Berichte, soweit anwendbar.3
Die BABL AI ist auch verantwortlich für die Wahrung der Unabhängigkeit und Objektivität der Prüfer, um die Integrität der abgegebenen Meinung und Zertifizierung zu gewährleisten. BABL AI als Organisation und alle Mitarbeiter und Vertragsprüfer halten strikte Unabhängigkeit, wie sie im Sarbanes–Oxley Act von 20024 und im Ethikkodex von ForHumanity festgelegt ist.5 Darüber hinaus sind die Lead Auditors von BABL AI zertifizierte Prüfer von ForHumanity im Rahmen des NYC AEDT Bias Audit.6 Für weitere Details zu unserer Methodik und unserem Prozess siehe Anhang – Prüfungs-Methodik.
2 https://pcaobus.org/oversight/standards/auditing-standards/details/AS1105
3 https://www.iaasb.org/publications/international-standard-assurance-engagements-isae-3000 -revised-assurance-engagements-other-audits-or-0
Geltungsbereich & Zielsetzung
Außerhalb des Geltungsbereichs
Die Prüfung hat keine ausreichenden Tests der Auswirkungen des Tools auf andere geschützte Klassen außer Rasse/Ethnie und Geschlecht sichergestellt
Die Prüfung hat nicht bestätigt, dass das System „vorurteilsfrei“ ist
Die Prüfung ist nicht für Compliance-Zwecke für andere Gesetze als das NYC Local Law Nr. 144
Schlussfolgerungen
Unsere Meinungen zur Bias-Prüfung des Plagiats-Erkennungssystems von HackerRank sind wie folgt:
Ergebnisse
Hinweis: Die unter jedem Kriterium offengelegten Informationen sind keine dokumentarischen Beweise.
Quantifizierung der unterschiedlichen Auswirkungen
Q.A. Komponenten: Das zu testende System auf disparate Auswirkungen ist zu definieren.
- Q.A.1. Wenn das System aus mehr als einer automatisierten Komponente besteht, sind geeignete Nachweise für die Systemdefinition vorzulegen.
Komponenten oder Kombinationen von Komponenten, die getestet wurden: N/A
Q.B. Testdatensatz: Der Datensatz, auf dem die unterschiedliche Auswirkung quantifiziert wurde, ist zu definieren und zu charakterisieren.
- Q.B.1. Nachweise sind vorzulegen, die die Rechtfertigung dafür zeigen, warum der ausgewählte Datensatz für die Testung der unterschiedlichen Auswirkungen geeignet war.
- Q.B.2. Wenn Testdaten gemäß § 5-300 verwendet wurden, sind Nachweise vorzulegen, die
- eine Begründung dafür enthalten, warum keine historischen Daten verwendet wurden,
- dass historische Daten nicht ausreichen, um eine statistisch signifikante Testung der unterschiedlichen Auswirkungen durchzuführen,
- und die Methodik, nach der die Testdaten gesammelt wurden
- Q.B.3. Wenn die Testung der unterschiedlichen Auswirkungen nicht von BABL abgeschlossen wurde, sind Nachweise vorzulegen, die
- belegen, dass die aktuellste Testung weniger als ein Jahr vor dem Startdatum dieses Audits durchgeführt wurde oder nach einem größeren Systemupdate, es sei denn, das Update liegt mehr als ein Jahr vor dem Startdatum dieses Audits, in diesem Fall sind Nachweise vorzulegen,
- eine Rechtfertigung dafür enthalten, warum eine solche Testung dennoch angemessen war.
- Q.B.4. Nachweise sind vorzulegen, dass die in der Testung verwendeten Daten innerhalb eines Jahres vor dem Startdatum der Testung der unterschiedlichen Auswirkungen liegen.
Durchgeführt von: HackerRank
Datum der letzten Tests: 05.10.2023
Zeitraum der Daten: Nov 2022 – Feb 2023
Begründung für die Verwendung von Testdaten: Von HackerRank: „Aufgrund des Datenschutzvertrags mit unseren Kunden werden Open-Source-Bibliotheken für die Schätzung von Name zu Rasse und Name zu Geschlecht ausgewählt, da kein Datentransfer an einen anderen Anbieter erforderlich ist.“
Q.C. Disparate-impact quantifizierbare PCVs: PCVs, die mit dem Testdatensatz quantifiziert werden können, sollen definiert werden.
- Q.C.1. Nachweise sollen PCVs identifizieren, die hinsichtlich des disparaten Einflusses quantifizierbar waren.
- Q.C.2. Nachweise sollen zeigen, dass die quantifizierbaren PCVs mindestens Rasse und Geschlecht umfassen.
- Q.C.3. Nachweise sollen die Methode offenlegen, mit der die PCV-Daten gesammelt wurden.
- Q.C.4. Nachweise sollen PCVs identifizieren und offenlegen, die hinsichtlich des disparaten Einflusses nicht quantifiziert wurden.
- Q.C.5. Wenn PCV-Daten abgeleitet wurden, sollen die Nachweise
a. die Methode identifizieren, mit der die PCV-Daten abgeleitet wurden, und
b. eine Begründung dafür liefern, warum die gewählte Methode der PCV-Ableitung geeignet war.
PCVs, für die eine unterschiedliche Auswirkung quantifiziert wurde:
1. Geschlecht
2. Rasse/Ethnie
PCVs, für die keine unterschiedliche Auswirkung quantifiziert wurde:
Alter
Einwanderungs- oder Staatsbürgerschaftsstatus
Behinderungsstatus
Familienstand und Partnerschaftsstatus
Herkunftsland
Schwangerschafts- und Stillzeitenregelungen
Religion/Glaube
Sexuelle Orientierung
Veteranen- oder aktiver Militärdienststatus
Q.D. Positives vs. negatives Ergebnis: Wenn die Auswahlrate-Methode verwendet wurde, sollen positive und negative Ergebnisse des Modells klar definiert werden.
Q.D.1. Es sind Beweise erforderlich, die eine Rechtfertigung dafür liefern, warum die gewählte Definition des positiven Ergebnisses angemessen war.
Q.D.2. Wenn Schwellenwerte verwendet werden, sollen Beweise eine Rechtfertigung dafür liefern, warum das Niveau/die Niveaus der Schwellenwerte zur Bestimmung positiver vs. negativer Ergebnisse angemessen waren/waren.
Q.D.3. Beweise sollen identifizieren und offenlegen
- a. alle vom Benutzer konfigurierbaren Einstellungen,
- b. ob jede Einstellung positive Ergebnisse beeinflusst, und für alle Einstellungen, die Ergebnisse beeinflussen,
- c. ihre Ausmaße der Benutzerkonfigurierbarkeit,
- d. ihre Standardwerte, und
- e. Rechtfertigung dafür, warum solche Standardwerte angemessen waren.
Q.D.4. Beweise sollen die vom Benutzer konfigurierbaren Einstellungen und Kombinationen von Einstellungen offenlegen, bei denen eine unterschiedliche Auswirkung getestet wurde.
Positives Ergebnis: nicht vom System markiert werden
Benutzerkonfigurierbare Einstellungen, die das positive Ergebnis beeinflussen können: N/A
Einstellungen, bei denen der disparative Einfluss getestet wurde: N/A
Q.E. Auswahlrate oder Bewertungsrate: Es wird eine Metrik definiert, die der Auswahlrate oder Bewertungsrate entspricht.
Q.E.1. Wenn die Auswahlmethode verwendet wurde, muss der Nachweis erbracht werden, dass die Auswahlrate einer Gruppe als das Verhältnis positiver Ergebnisse zu allen Ergebnissen für diese Gruppe definiert ist.
Q.E.2. Wenn die Bewertungsmethode verwendet wurde, muss der Nachweis erbracht werden, dass die Bewertungsrate einer Gruppe als die Rate definiert ist, mit der diese Gruppe eine Bewertung vom AEDT erhält, die über dem Medianwert der Stichprobe liegt
Methode zur Quantifizierung von unterschiedlicher Auswirkung: Auswahlrate definiert als die Rate, mit der Kandidaten in einer demografischen Gruppe vom System nicht markiert werden
Q.F. Bevorzugte, benachteiligte Gruppen: Bevorzugte und benachteiligte Gruppen werden für alle PCVs definiert.
Q.F.1. Nachweise müssen zeigen, dass bevorzugte und benachteiligte Gruppen gemäß den nach Auswahlraten oder Punktzahlen geordneten Raten nach PCV definiert wurden.
Q.F.2. Nachweise müssen zeigen, dass die Gruppen in Bezug auf Rasse und Ethnie die § 60-3.4 B in den EEO-Richtlinien.
Q.F.3. Wenn die Gruppen in Bezug auf Rasse und Ethnie die EEO-Richtlinien nicht erfüllen, müssen Nachweise eine Rechtfertigung dafür liefern, warum die EEO-Gruppierung nicht verwendet wurde, und die Angemessenheit aller ersetzten Gruppierungen.
Q.F.4. Nachweise müssen zeigen, dass die Gruppen in Bezug auf Geschlecht mindestens „Männlich“ und „Weiblich“ enthalten.
Q.F.5. Nachweise müssen Schnittmengen-Gruppen enthalten, die alle Permutationen von Geschlecht und Rasse/Ethnie-Kombinationen umfassen.
Q.F.6. Wenn Rasse/Ethnien und Geschlechter für eine Stichprobe von Kandidaten, die vom AEDT bewertet wurden, nicht bekannt sind, müssen die Nachweise die Stichprobengröße offenlegen.
Q.G. Impact-Verhältnis: Auswirkungsverhältnisse werden für alle benachteiligten Gruppen, für alle PCVs offengelegt.
Q.G.1. Wenn ein Impact-Verhältnis für eine benachteiligte Gruppe unter 0,8 liegt, müssen Beweise eine Rechtfertigung dafür zeigen, warum die benachteiligte Gruppe benachteiligt ist.
Q.G.2. Beweise müssen Ergebnisse der Unsicherheitsanalyse (z.B. Standardfehler für den Mittelwert) oder Fehlerfortpflanzung der Impact-Verhältnisse in Form von Fehlern oder Fehlerbalken zeigen.
Q.G.3. Wenn PCV-Daten abgeleitet wurden, müssen Beweise zeigen, dass systematische Fehler aufgrund der PCV-Ableitung ordnungsgemäß in die Berechnungen des Impact-Verhältnisses eingegangen sind.
Q.G.4. Wenn eine Geschlechts-, Rassen-/Ethnizitäts- oder intersektionale Gruppe aufgrund ihrer Größe unter 2 % der Gesamtstichprobengröße jeder Analyse ausgeschlossen wurde, müssen Beweise zeigen
Rechtfertigung für den Ausschluss dieser Gruppe
Die Stichprobengröße dieser Gruppe, und
Die Auswahlrate oder Bewertungsrate dieser Gruppe
Nicht-intersektional, Geschlecht, sortiert nach Impact-Verhältnis
N Bewerber
Auswahlrate
Impact-Verhältnis
Männlich
3.732
0.798
1.000
Weiblich
2.112
0.784
0.982
Nicht-intersektional, Rasse/Ethnizität, sortiert nach Impact-Verhältnis
N Bewerber
Auswahlrate
Impact-Verhältnis
Hispanic or Latino
1.127
0.860
1.000
Asiatisch
1.184
0.835
0.971
Weiß
1.797
0.774
0.900
Schwarz oder Afroamerikanisch
1.070
0.762
0.866
3
0.667
N/A
Intersektionalitäten
Nicht-Hispanic oder Latino
Männlich
807
0.756
0.878
2
0.500
N/A
Weiblich
807
0.756
0.878
1
1.000
N/A
Hinweis: Die Daten zu diesen Bewerbern wurden in den oben genannten Berechnungen nicht berücksichtigt:
- 123 Bewerber mit einer unbekannten Geschlechtskategorie
- 1053 Bewerber mit einer unbekannten Rassen-/Ethnizitätskategorie, und
- 1176 Bewerber mit mindestens einer unbekannten Geschlechts- oder Rassen-/Ethnizitätskategorie
7 N/A bezieht sich auf die demografische Gruppe, die weniger als 2 % der Gesamtzahl der N-Bewerbungen in der Tabelle ausmacht
Q.H. Statistische Signifikanz: Wenn die Auswahlrate-Methode verwendet wurde, muss die Berechnung der statistischen Signifikanz den UGESP Richtlinien entsprechen.
Q.H.1. Nachweise müssen zeigen, dass die statistische Signifikanz unter Verwendung des Zwei-Stichproben-Binomial-Z-Tests für Stichprobengrößen von 30 oder mehr und des Fisher’s Exact Test für Stichprobengrößen von weniger als 30 berechnet wurde.
Governance
G.A. Verantwortliche Partei für Risiken durch unterschiedliche Auswirkungen: Der Prüfungsgegenstand soll eine Partei haben, die für Risiken im Zusammenhang mit unterschiedlichen Auswirkungen verantwortlich ist.
- G.A.1. Nachweise sollten zeigen, dass die verantwortliche Partei ein Ausschuss ist, aber auch zeigen können, dass die verantwortliche Partei eine einzelne Person ist.
- G.A.2. Nachweise sollen deutlich zeigen, dass Risiken im Zusammenhang mit unterschiedlichen Auswirkungen von der verantwortlichen Partei Eigentum sind und verwaltet werden.
Verantwortliche Partei: Komitee für automatisierte Entscheidungsfindungstools
Kontaktinformationen: rohan.raman@hackerrank.com
Rolle in der Organisation des Prüfungsgegenstands: Governance-Gruppe/Ausschuss
G.B. Definierte Pflichten der verantwortlichen Partei: Die Pflichten der Partei, die für Risiken durch unterschiedliche Auswirkungen verantwortlich ist, sollen klar definiert sein.
- G.B.1. Nachweise sollen zeigen, dass solche Pflichten die Eigentümerschaft, das Management und die Überwachung der Risiken durch unterschiedliche Auswirkungen betreffen.
- G.B.2. Nachweise sollen zeigen, dass die verantwortliche Partei Einfluss auf Produktänderungen im Rahmen einer wirksamen Herausforderung im Federal Guidance on Model Risk Management hat.
G.C. Dokumentation im Zusammenhang mit ausgeführten Pflichten: Der Prüfungsgegenstand soll Nachweise vorlegen, dass die definierten Pflichten der verantwortlichen Partei für Risiken durch unterschiedliche Auswirkungen ausgeführt wurden.
- G.C.1. Nachweise sollen zeigen, dass die definierten Pflichten vor dem Startdatum dieser Prüfung ausgeführt wurden.
Risikoabschätzung
R.A. Abschluss: Der geprüfte Bereich hat eine Risikoabschätzung des Modells durchgeführt.
- R.A.1. Nachweise müssen zeigen, dass eine Risikoabschätzung oder eine gleichwertige Analyse weniger als ein Jahr vor dem Ausstellungsdatum dieses Audits abgeschlossen wurde.
Nachweis der Abschluss der Risikoabschätzung: Dokumente zur Risikoabschätzung (Risikoabschätzungs-Tabellenkalkulation und narrative Notizen) sowie mündliche Zeugenaussagen von Teilnehmern der Risikoabschätzung.
R.B. Identifikation von Risiken: Die Risikoabschätzung muss die Identifikation relevanter Risiken im Zusammenhang mit Verzerrungen zeigen.
- R.B.1. Nachweise müssen die Identifikation von Risiken im Zusammenhang mit verschiedenen Verzerrungen in allen Phasen des KI-Lebenszyklus zeigen, wie in NIST-Standard zur Identifizierung und Verwaltung von Verzerrungen in Künstlicher Intelligenz aufgeführt.
- R.B.2. Nachweise müssen das Bewusstsein der Parteien zeigen, die potenziell von den Entscheidungen betroffen sind, die in allen Phasen des KI-Lebenszyklus getroffen werden.
R.C. Bewertung der Risiken: Die Risikoabschätzung muss eine angemessene Bewertung der relevanten Risiken demonstrieren.
- R.C.1. Nachweise müssen zeigen, dass die identifizierten Risiken aus der Perspektive mehrerer betroffener externer und interner Stakeholder bewertet werden, mit Begründungen für den Umfang und den Mechanismus, durch den solche Risiken diese Stakeholder beeinflussen.
- R.C.2. Nachweise müssen zeigen, dass die identifizierten Risiken in einer ausreichend rigorosen Weise bewertet werden, unter Verwendung eines quantitativen und/oder qualitativen Bewertungsverfahrens, und entlang mehrerer Dimensionen, wie z.B. Wahrscheinlichkeit von Schaden und Schwere des Schadens.
- R.C.3. Nachweise müssen eine Rechtfertigung für die bereitgestellte Bewertung der Risiken zeigen.
Anhang
Prüfmethodik
Der Prozess-Audit
Der BABL AI-Prüfrahmen ist das Prozess-Audit, definiert als „ein unparteiischer Verifizierungs- und Bewertungsprozess, der von einem unabhängigen Prüfer durchgeführt wird, um festzustellen, ob ausreichende Beweise vorliegen, um die Beurteilung zu rechtfertigen, dass KI-Risiken verhindert, erkannt, gemindert oder anderweitig verwaltet wurden.“ Ein Prozess-Audit ist nach der Praxis der Finanzprüfung modelliert als ein kooperatives Drittanbieter- Audit und unterscheidet sich von anderen gängigen Bewertungsformen von Algorithmen, wie Erst- oder Zweitparteienbewertungen und Zusicherungen.8 Der Prüfungsrahmen umfasst drei Phasen:
Abgrenzung – Der Prüfer führt eine vorläufige Untersuchung des Algorithmus des Auditteils durch, um ein vollständiges Verständnis zu erlangen und die dokumentarischen Beweise zu kontextualisieren
Bewertung & Verifizierung – Der Auditee reicht Dokumentationen ein, die Beweise enthalten, die die Erfüllung der Prüfungsstandards demonstrieren, die die Prüfer bewerten und verifizieren.
Zertifizierung – Wenn der Auditee die Prüfungsstandards erfüllt, erstellt der Prüfer den Prüfbericht und zertifiziert den Algorithmus des Auditteils.
Bewertung & Verifizierung
Das Verfahren für alle BABL AI-Prüfer bei der Durchführung eines Prozess-Audits folgt den Richtlinien des Prüfungsstandards 1105 der Public Company Accounting Oversight Board (PCAOB) für Prüfungsnachweise, soweit anwendbar. Insbesondere:
Erhalt von Prüfungsansprüchen und -aussagen aus den vom Auditee eingereichten Dokumenten, die die Kriterien und Unterkriterien entweder unterstützen oder widersprechen,
Bewertung der Ansprüche und Aussagen im Hinblick auf die Erfüllung der Kriterien und Unterkriterien, basierend auf der Angemessenheit und Relevanz der Beweise, und
Verifizierung, dass die vom Auditee gemachten Ansprüche und Aussagen frei von wesentlichen Falschdarstellungen sind, sei es durch Betrug oder Fehler.9
8 Carrier, R., & Brown, S. (2021). Taxonomie: KI-Audit, Zusicherung & Bewertung. ForHumanity.
https://forhumanity.center/blog/taxonomy-ai-audit-assurance-assessment/
9 „Angemessene Sicherheit“ ist ein hohes Maß an Sicherheit, aber keine Garantie dafür, dass ein Audit, das nach guten Prüfungspraktiken durchgeführt wird, immer eine wesentliche Falschdarstellung erkennt, wenn sie vorhanden ist. Falschdarstellungen können durch Betrug oder Fehler entstehen und gelten als wesentlich, wenn sie einzeln oder insgesamt vernünftigerweise die Entscheidungen der Stakeholder, die auf diesen Aussagen basieren, beeinflussen könnten.
Darüber hinaus kann die Bewertung und Überprüfung von Behauptungen und Aussagen die Anforderung zusätzlicher unterstützender dokumentarischer Nachweise und/oder Interviews mit den Verantwortlichen für die Steuerung des Algorithmus, anderen relevanten Mitarbeitern der geprüften Organisation oder anderen in der eingereichten Dokumentation genannten Dritten umfassen.
Am Ende ziehen die Prüfer eine Prüfungsmeinung basierend auf:
Der Angemessenheit und Ausreichendheit der Prüfungsnachweise, und
Das Risiko einer wesentlichen falschen Darstellung der Prüfungsnachweise.
Terminologien & Definitionen
automatisiertes Beschäftigungsentscheidungswerkzeug
AEDT
„Jeder rechnergestützte Prozess, der auf maschinellem Lernen, statistischer Modellierung, Datenanalyse oder künstlicher Intelligenz basiert und vereinfachte Ausgaben, einschließlich einer Punktzahl, Klassifikation oder Empfehlung, ausgibt, die dazu verwendet wird, die Ermessensentscheidung bei Beschäftigungsentscheidungen, die natürliche Personen betreffen, wesentlich zu unterstützen oder zu ersetzen.“ – siehe § 20-870 des Codes und § 5-300 der verabschiedeten Regel für vollständige Definition
benachteiligte Gruppe
jede Geschlechts- oder Rassen-/Ethnie-Gruppe, die nicht die höchste Auswahlrate oder den Durchschnittswert aufweist
disproportionale Auswirkungen oder nachteilige Auswirkungen
„Eine Auswahlrate für eine Rasse, Geschlecht oder ethnische Gruppe, die weniger als vier Fünftel (⁄) (oder 80%) der Rate der Gruppe mit der höchsten Rate beträgt, wird von den Bundesdurchsetzungsbehörden im Allgemeinen als Beweis für nachteilige Auswirkungen angesehen“ – siehe § 60-3.4.D von UGESP (1978) für vollständige Definition
Fehlerfortpflanzung
Berechnung oder Berechnung der Unsicherheit einer Variablen, die von der Unsicherheit einer anderen Variablen abhängt
bevorzugte Gruppe
die Geschlechts- oder Rassen-/Ethnie-Gruppe mit der höheren Auswahlrate oder dem Durchschnittswert im Vergleich zu den anderen Gruppen
Auswirkungsquote
„Entweder (1) die Auswahlrate für eine Kategorie geteilt durch die Auswahlrate der am meisten ausgewählten Kategorie oder (2) die Bewertungsrate für eine Kategorie geteilt durch die Bewertungsrate der höchstbewerteten Kategorie.“ – siehe § 5-300 der verabschiedeten Regel für vollständige Definition
Bewertungsrate
„Die Rate, mit der Personen in einer Kategorie einen Score über dem Medianwert der Stichprobe erhalten, wobei der Score durch ein AEDT berechnet wurde“
Rechtfertigung
Ein überzeugender Grund, der das Problem beleuchtet und normative Kraft besitzt, im Gegensatz zu rein erklärender Macht
positives Ergebnis
Die Grundlage für die Auswahlrate, das günstige Ergebnis für einen Kandidaten durch die Nutzung des Modells, wie z.B. die Auswahl, um im Einstellungsprozess weiterzukommen oder eine Klassifikation durch ein Modell zu erhalten
geschützte Kategorienvariablen
je nach Gerichtsbarkeit definiert, entspricht der geschützten Klasse, einschließlich aber nicht beschränkt auf: Rasse/Ethnie, Alter, Geschlecht, Religion, Fähigkeit oder Behinderung, sexuelle Orientierung, Hautfarbe, Herkunftsland, sozioökonomischer Status
Risikoabschätzung
Eine Bewertung des Risikos, dass die Verwendung des Algorithmus die Rechte und Interessen der Stakeholder negativ beeinflusst, mit entsprechender Identifikation von Situationen im Kontext und/oder Merkmalen des Algorithmus, die diese negativen Auswirkungen verursachen oder dazu beitragen9
Auswahlrate
„Die Rate, mit der Personen in einer Kategorie entweder für den weiteren Verlauf im Einstellungsprozess ausgewählt oder durch ein AEDT eine Klassifikation zugewiesen bekommen“ – siehe § 5-300 der verabschiedeten Regel für vollständige Definition
Testdatensatz
Der Datensatz, der verwendet wird, um nach disproportionalen Auswirkungen zu testen oder diese zu quantifizieren
Unsicherheitsanalyse
Berechnung oder Analyse zur Quantifizierung der Unsicherheit einer Variablen, die Fehler oder Fehlerbalken ausgibt
10 Hasan, A., Brown, S., Davidovic, J., Lange, B., & Regan, M. (2022). Algorithmische Verzerrung und Risiko Bewertungen: Lektionen aus der Praxis. Digitale Gesellschaft, 1(1). https://doi.org/10.1007/s44206-022-00017-z