Samenvatting van Bias Audit Resultaten (HackerRank's Image Analysis System)
Last updated: December 12, 2024
Brief van de Lead Auditor
Van: Shea Brown
Lead Auditor
BABL AI Inc.
sheabrown@babl.ai
Aan: Interviewstreet Incorporation (HackerRank)
Postbus 1660
211 Hope Street
Mountain View, Californië 94041
Re: Auditadvies over HackerRank’s Image Analysis System 22/07/2024
We hebben de beweringen over bias-testen en gerelateerd documentair bewijs van HackerRank (de "Vennootschap") op 22/07/2024 onafhankelijk geaudit, gepresenteerd aan BABL AI in verband met het Image Analysis System van het bedrijf in overeenstemming met de criteria en auditmethodologie zoals uiteengezet in dit rapport. De doelen van deze audit zijn om:
Bepalen of de bias-testmethodologieën, controles en procedures die door het bedrijf worden uitgevoerd voldoen aan de auditcriteria (zie Findings)
Redelijke zekerheid verkrijgen of de verklaringen die door het bedrijf worden afgelegd, inclusief de samenvatting van bias-testresultaten gepresenteerd in dit rapport, vrij zijn van materiële onjuistheden, hetzij door fraude of fout.
Houd er rekening mee dat de criteria die in dit rapport worden gepresenteerd, specifiek zijn opgesteld om te voldoen aan de vereisten van een “bias audit” zoals uiteengezet in NYC Local Law No. 144 van 2021. Het model werd geaudit alsof het een geautomatiseerd besluitvormingshulpmiddel (AEDT) was onder NYC Local Law No. 144 van 2021, maar wij doen geen enkele vaststelling of het model inderdaad een AEDT is onder deze wet.
Verantwoordelijkheden van het bedrijf
Het is de verantwoordelijkheid van de vertegenwoordigers van het bedrijf om ervoor te zorgen dat bias-testen en gerelateerde procedures voldoen aan de criteria die in dit rapport worden beschreven. De vertegenwoordigers van het bedrijf zijn verantwoordelijk voor het zorgen dat de ingediende documenten eerlijk worden gepresenteerd en vrij zijn van misrepresentaties, het verstrekken van alle middelen en personeel die nodig zijn om een effectief en efficiënt auditproces te waarborgen, en het verstrekken van toegang tot bewijsmateriaal zoals door de auditors wordt gevraagd.
BABL AI Verantwoordelijkheden
Het is de verantwoordelijkheid van de lead auditor om een mening te geven over de beweringen van het bedrijf met betrekking tot de bias-test van het model. In het licht van de huidige afwezigheid van algemeen aanvaarde normen voor het auditen van algoritmen en autonome systemen, is ons onderzoek uitgevoerd in overeenstemming met de normen en normatieve referenties zoals uiteengezet in dit rapport.
Die normen vereisen dat wij auditprocedures plannen en uitvoeren om redelijke zekerheid te verkrijgen over of de bovenstaande beweringen 1) voldoen aan de auditcriteria en 2) vrij zijn van materiële onjuistheden, hetzij door fout of fraude. Binnen de scope van onze opdracht hebben wij onder andere de volgende procedures uitgevoerd:
Inspectie van ingediende documenten en externe documentatie
Interviewen van medewerkers van het bedrijf om inzicht te krijgen in het proces voor
bepaling van de differentiële impact en risicobeoordeling
Observatie van geselecteerde analytische procedures die worden gebruikt in de bias-testen van het bedrijf
Inspectie van de geselecteerde monsters van de bias-testgegevens
Informatie inwinnen bij personeel dat verantwoordelijk is voor governance en toezicht op de bias-testen en
risicobeoordeling
Wij geloven dat de uitgevoerde procedures een redelijke basis bieden voor onze mening.
Onafhankelijkheid
Onze rol als onafhankelijke auditor voldoet aan de definities van Onafhankelijkheid van ForHumanity en Sarbanes-Oxley. Vergoedingen in verband met dit contract zijn voor het leveren van de dienst om naleving te beoordelen. De betaling van vergoedingen staat los van de beslissing die wordt genomen. Onze beslissing is uitsluitend gebaseerd op de hieronder gepresenteerde criteria.
Meningen
Naar ons oordeel, op basis van de uitgevoerde procedures en het ontvangen bewijs om zekerheid te verkrijgen, is de bias-test en de resultaten die door het bedrijf worden gepresenteerd, per 22/07/2024, in alle materiële opzichten opgesteld in overeenstemming met de hieronder beschreven criteria.
Met vriendelijke groet,
Shea Brown, Ph.D.
Lead Auditor, BABL AI Inc.
Nadruk op zaak
We benadrukken verschillende zaken met betrekking tot de dataset die door HackerRank wordt gebruikt om te testen op differentiële impact: 1) zelf-gerapporteerde demografische labels waren niet beschikbaar uit het historische gebruik van het systeem, dus werd de publiek beschikbare “Test Data”, (zie § 5-300), gebruikt om het systeem op bias te beoordelen, en 2) de hoeveelheid en kwaliteit van de testdataset (zie Findings) waren beperkt. Bijgevolg zijn de conclusies die worden getrokken uit de kwantificatie van de differentiële impact onderhevig aan de beperkingen die voortvloeien uit de dataset en moeten ze in dat licht worden geïnterpreteerd. Onze mening wordt niet gewijzigd met betrekking tot deze zaak.
Systeemomschrijving
BABL AI werd ingeschakeld om het HackerRank-systeem voor beeldanalyse (het systeem) te auditen. Het systeem maakt periodiek een aantal webcambeelden van sollicitanten tijdens een beoordeling, en verwerkt deze om naar verluidt de aanwezigheid van verdachte activiteiten van de kandidaten te detecteren, zoals zich verbergen, of ongeoorloofde hulp van anderen krijgen. Voor een beoordelingssessie heeft het systeem drie detectiemodi:
- No-face: nul gezicht wordt gedetecteerd in 90% van de totale vastgelegde beelden;
- Multi-face: twee of meer gezichten worden gedetecteerd in ten minste één van de vastgelegde beelden; en
- Secondary-face: twee of meer unieke gezichten worden gedetecteerd op verschillende tijden tijdens de sessie.
Het systeem levert een rapport van deze detectiemodi en toont dit aan de gebruikers. Recruiters en hiring managers kunnen vervolgens de vastgelegde beelden bekijken om de aanwezigheid van valsspelen te verifiëren, en beslissen of een kandidaat verder moet worden genomen.
De percentages van kandidaten die niet door het systeem worden gemarkeerd, worden gebruikt als selectiecijfers voor kandidaten die tot verschillende demografische groepen behoren. Let op dat de selectiecijfers van alleen de no-face detectiemodus worden weergegeven op p. 14 in de Findings sectie, aangezien no-face de primaire detectiemodus van het systeem is en het niet-markeerpercentage gelijk is aan dat op systeemniveau.
Audit Samenvatting
Achtergrond
De New York City Local Law No. 144 van 2021 vereist jaarlijkse “bias audits” voor geautomatiseerde besluitvormingshulpmiddelen (AEDT) die worden gebruikt om beslissingen in hiring of promotie substantieel te ondersteunen of te vervangen. Specifiek stelt de wet dat (1) de bias audit “de disparate impact” van de (AEDT’s) moet beoordelen op bepaalde personen, (2) de audit moet worden uitgevoerd door een “onafhankelijke auditor ... niet meer dan een jaar voorafgaand aan het gebruik”, en (3) een “samenvatting van de resultaten van de meest recente bias audit ... [moet] openbaar worden gemaakt op de website van de werkgever of arbeidsorganisatie.” De audit beschreven in dit document is uitgevoerd om te voldoen aan de wettelijke vereisten voor een bias audit en bevat geen andere vereisten zoals kandidaatmeldingen. Dit rapport maakt geen enkele vaststelling of het model dat onder deze audit wordt beoordeeld, inderdaad een geautomatiseerd besluitvormingshulpmiddel is zoals gedefinieerd onder NYC Local Law 144, of niet.
Verantwoordelijkheden van de auditor
Het is de verantwoordelijkheid van BABL AI auditors om:
Redelijke zekerheid verkrijgen of de verklaringen die door de geauditeerde worden afgelegd, vrij zijn van materiële onjuistheden, hetzij door fraude of fout,
Bepalen of de verklaringen die door de geauditeerde worden afgelegd, voldoende bewijs leveren dat aan de auditcriteria (zie Findings) is voldaan, en
Een auditorrapport uitbrengen dat een mening bevat.
Als onderdeel van een audit volgens goede auditpraktijken oefent BABL AI professioneel oordeel uit en behoudt het professionele scepsis gedurende de hele audit. Specifiek identificeren en beoordelen de auditors van BABL AI de risico’s van materiële onjuistheden in documenten die door de geauditeerde worden verstrekt, voeren auditprocedures uit die op die risico’s reageren, en verkrijgen auditbewijs dat voldoende en geschikt is om een basis voor onze mening te bieden, volgens de Auditing Standard 1105 van de Public Company Accounting Oversight Board (PCAOB) over Audit Evidence,1 waar van toepassing. Daarnaast volgt dit auditrapport de richtlijnen van de International Standard on Assurance Engagements (ISAE) 3000 over Assurance Reports, waar van toepassing.2
BABL AI is ook verantwoordelijk voor het handhaven van de onafhankelijkheid en objectiviteit van auditors om de integriteit van de gegeven mening en certificering te waarborgen. BABL AI als organisatie, en alle werknemers en contractauditors, houden zich strikt aan de onafhankelijkheid zoals vastgelegd in de Sarbanes–Oxley Act van 2002 en de Code of Ethics van ForHumanity.4 Daarnaast zijn de Lead Auditors van BABL AI gecertificeerde auditors van ForHumanity onder NYC AEDT Bias Audit.5 Voor meer details over onze methodologie en proces, zie Bijlage – Audit Methodologie.
Scope & Doelstelling
Uit Scope
De audit heeft niet voldoende testen verzekerd van de disparate impact van het hulpmiddel op andere beschermde klasse dan ras/etniciteit en geslacht
De audit heeft niet gecertificeerd dat het model “bias-v