Résumé des résultats de l'audit de biais du système de détection de plagiat de HackerRank pour la loi locale 144 de la ville de New York
Last updated: December 12, 2024
Lettre du Auditeur Principal
De : Shea Brown
Auditeur Principal
BABL AI Inc.
sheabrown@babl.ai
À : Interviewstreet Incorporation (HackerRank)
BP 1660
211 Hope Street
Mountain View, Californie 94041
Objet : Opinion d'audit sur le système de détection de plagiat de HackerRank
22/07/2024
Nous avons audité de manière indépendante les assertions de test de biais et les preuves documentaires associées de HackerRank (la "Société") au 22/07/2024, présentées à BABL AI en relation avec le système de détection de plagiat de la Société (le "système") conformément aux critères et à la méthodologie d'audit énoncés dans ce rapport. Les objectifs de cet audit sont de :
Déterminer si les méthodologies, contrôles et procédures de test de biais effectués par la Société satisfont aux critères d'audit (voir Constatations)
Obtenir une assurance raisonnable quant à la véracité des déclarations faites par la Société, y compris le résumé des résultats des tests de biais présentés dans ce rapport, qui sont exemptes d'erreurs matérielles, qu'elles soient dues à une fraude ou à une erreur.
Notez que les critères présentés dans ce rapport ont été construits spécifiquement pour répondre aux exigences d'un « audit de biais » décrit dans la Loi locale de NYC n° 144 de 2021. Le système a été audité comme s'il s'agissait d'un outil automatisé de décision d'emploi (AEDT) en vertu de la Loi locale de NYC n° 144 de 2021, mais nous ne faisons aucune détermination quant à savoir si le système est, en fait, un AEDT selon cette loi.
Responsabilités de la Société
Il incombe aux représentants de la Société de s'assurer que les tests de biais et les procédures associées respectent les critères décrits dans ce rapport. Les représentants de la Société sont responsables de veiller à ce que les documents soumis soient présentés de manière équitable et sans fausses déclarations, de fournir toutes les ressources et le personnel nécessaires pour assurer un processus d'audit efficace et efficient, et de donner accès au matériel probant sur demande des auditeurs.Responsabilités de BABL AI
Il incombe à l'auditeur principal d'exprimer une opinion sur les affirmations de la société concernant le test de biais du système. En l'absence actuelle de normes généralement acceptées pour l'audit des algorithmes et des systèmes autonomes, notre examen a été effectué conformément aux normes et références normatives décrites dans ce rapport.
Ces normes exigent que nous planifiions et réalisions des procédures d'audit pour obtenir une assurance raisonnable quant à savoir si les affirmations mentionnées ci-dessus 1) satisfont aux critères d'audit et 2) sont exemptes d'erreurs matérielles, qu'elles soient dues à une erreur ou à une fraude. Dans le cadre de notre mission, nous avons effectué, entre autres, les procédures suivantes :
Inspection des documents soumis et de la documentation externe
Entretien avec les employés de la société pour comprendre le processus de
détermination de l'impact différentiel et des résultats de l'évaluation des risques
Observation des procédures analytiques sélectionnées utilisées dans le test de biais de la société
Inspection des échantillons sélectionnés des données de test de biais
Enquête auprès du personnel responsable de la gouvernance et de la supervision du test de biais et
de l'évaluation des risques
Nous croyons que les procédures effectuées fournissent une base raisonnable pour notre opinion.
Indépendance
Notre rôle en tant qu'auditeur indépendant conforme aux définitions de ForHumanity et Sarbanes-Oxley en matière d'indépendance. Les honoraires liés à ce contrat concernent la prestation du service d'évaluation de la conformité. Le paiement des honoraires n'est pas lié à la décision rendue. Notre décision est uniquement basée sur les critères présentés ci-dessous.
Opinion
Selon notre avis, basé sur les procédures effectuées et les preuves recueillies pour obtenir une assurance, le test de biais et les résultats présentés par la société, au 22/07/2024, sont préparés, à tous égards importants, conformément aux critères décrits ci-dessous.
Cordialement,
Shea Brown, Ph.D.
Auditeur principal, BABL AI Inc.
Emphasis of Matter
Nous mettons en évidence plusieurs points liés à l'ensemble de données provenant de HackerRank pour tester l'impact différentiel : 1) les étiquettes démographiques auto-déclarées n'étaient pas disponibles pour le système, donc les étiquettes de sexe et de race/ethnie ont été déduites, 2) l'utilisation d'étiquettes démographiques déduites signifie que les données sont susceptibles d'être considérées comme « Données de test » en vertu de § 5-3001, et 3) la quantité et la qualité de l'ensemble de données de test (voir Findings) étaient limitées en raison du manque de données historiques. Par conséquent, les conclusions tirées de la quantification de l'impact différentiel sont soumises aux limitations découlant de l'ensemble de données et doivent être interprétées à la lumière de cette contrainte. Notre avis n'est pas modifié à cet égard.
1 Ceci relève de la décision du Département de la consommation et de la protection du travail de NYC. 4
Description du système
BABL AI a été engagé pour auditer le test du système de détection de plagiat de HackerRank.
De HackerRank : « Le système de détection de plagiat utilise des signaux générés par l'utilisateur dans un algorithme avancé d'apprentissage automatique pour signaler un comportement suspect lors d'une évaluation. En comprenant les itérations de code effectuées par le candidat, le modèle peut prédire s'il a reçu une aide extérieure majeure.
Il est important de noter,... [que HackerRank] a fait les efforts suivants pour prévenir tout biais potentiel lié aux PII ou aux habitudes de codage ou à la difficulté des questions :
Aucune information sur la race, le genre ou les PII dans sa formation ou au moment de l'inférence.
Aucune donnée sur la vitesse de frappe n'est utilisée dans le modèle puisque nous considérons que la vitesse de frappe est plus une
habitude personnelle qu'un indicateur de plagiat.
Les caractéristiques sont normalisées par rapport à la même question pour minimiser le biais dû à la difficulté différente des questions.
Prise de décision humaine dans la boucle : le système de détection de plagiat par apprentissage automatique ne éliminera jamais automatiquement les candidats de la prédiction du modèle. Au lieu de cela, nous fournissons un rapport complet des tentatives suspectes... Nos clients peuvent examiner le rapport détaillé et vérifier la relecture du code eux-mêmes pour décider s'il faut faire avancer un candidat. »
Résumé de l'audit
Contexte
La loi locale de New York City n° 144 de 2021 exige des « audits de biais » annuels pour les outils automatisés de décision en emploi (AEDT) utilisés pour aider substantiellement ou remplacer les décisions en matière d'embauche ou de promotion. Plus précisément, la loi stipule que (1) l'audit de biais doit « évaluer l'impact différencié » des AEDT sur certaines personnes, (2) l'audit doit être réalisé par un « auditeur indépendant ... au plus tard un an avant l'utilisation », et (3) un « résumé des résultats du dernier audit de biais ... [doit être] rendu public sur le site Web de l'employeur ou de l'agence d'emploi. » L'audit décrit dans ce document a été réalisé pour satisfaire à l'exigence légale d'un audit de biais uniquement, et n'inclut pas d'autres exigences telles que la notification des candidats. Ce rapport ne porte pas de jugement sur le fait que le système soumis à cet audit est, ou non, un outil automatisé de décision en emploi tel que défini par la loi locale de NYC 144.
Responsabilités de l'auditeur
Il est de la responsabilité des auditeurs de BABL AI de :
Obtenir une assurance raisonnable quant à savoir si les déclarations faites par la partie auditée sont exemptes d'erreurs matérielles, qu'elles soient dues à une fraude ou à une erreur,
Déterminer si les déclarations faites par la partie auditée fournissent des preuves suffisantes que les critères d'audit (voir Constats) ont été satisfaits, et
Émettre un rapport d'audit qui inclut une opinion.
Dans le cadre d'un audit conforme aux bonnes pratiques d'audit, BABL AI exerce un jugement professionnel et maintient un scepticisme professionnel tout au long de l'audit. Plus précisément, les auditeurs de BABL AI identifient et évaluent les risques d'erreur matérielle dans les documents fournis par la partie auditée, réalisent des procédures d'audit en réponse à ces risques, et obtiennent des preuves d'audit suffisantes et appropriées pour constituer une base pour notre opinion, conformément à la Norme d'audit 1105 du Public Company Accounting Oversight Board (PCAOB) sur la preuve d'audit,2 le cas échéant. De plus, ce rapport d'audit suit les lignes directrices de la Norme internationale sur les missions d'assurance (ISAE) 3000 concernant le Rapport d'assurance, le cas échéant.3
BABL AI est également responsable du maintien de l'indépendance et de l'objectivité des auditeurs pour garantir l'intégrité de l'opinion et de la certification fournie. BABL AI en tant qu'organisation, ainsi que tous les auditeurs employés et contractuels, adhèrent à une stricte indépendance conformément à la loi Sarbanes–Oxley de 20024 et au Code d'éthique de ForHumanity.5 De plus, les auditeurs principaux de BABL AI sont des Auditeurs Certifiés de ForHumanity dans le cadre de l'Audit de Biais des AEDT de NYC.6 Pour plus de détails sur notre méthodologie et notre processus, voir l'Annexe – Méthodologie d'audit.
2 https://pcaobus.org/oversight/standards/auditing-standards/details/AS1105
3 https://www.iaasb.org/publications/international-standard-assurance-engagements-isae-3000 -revised-assurance-engagements-other-audits-or-0
Portée & Objectif
Hors de Portée
L'audit n'a pas assuré des tests suffisants de l'impact disparate de l'outil sur toute autre classe protégée au-delà de la race/ethnie et du genre
L'audit n'a pas certifié que le système est « sans biais »
L'audit n'est pas destiné à des fins de conformité pour toute législation autre que la Loi Locale de NYC n° 144
Conclusions
Nos opinions pour l'audit de biais du Système de Détection de Plagiat par HackerRank sont les suivantes :
Constats
Note : Les informations divulguées sous chaque critère ne constituent pas une preuve documentaire.
Quantification de l'impact différentiel
Q.A. Composants : Le système à tester pour l'impact différentiel doit être défini.
- Q.A.1. Lorsque le système comprend plus d'un composant automatisé, la preuve doit montrer une définition appropriée du système.
Composants ou combinaisons de composants qui ont été testés : N/A
Q.B. Jeu de données de test : Le jeu de données sur lequel l'impact différentiel a été quantifié doit être défini et caractérisé.
- Q.B.1. La preuve doit montrer une justification pour laquelle le jeu de données sélectionné était approprié pour le test d'impact différentiel.
- Q.B.2. Lorsque les données de test telles que définies dans § 5-300 ont été utilisées, la preuve doit montrer
- a. une justification pour ne pas utiliser des données historiques,
- b. que les données historiques ne sont pas suffisantes pour effectuer un test d'impact différentiel statistiquement significatif,
et - c. la méthodologie par laquelle les données de test ont été collectées
- Q.B.3. Lorsque le test d'impact différentiel n'a pas été réalisé par BABL, la preuve doit montrer
- a. que le test le plus récent a été effectué il y a moins d'un an avant la date de début de cet audit, ou après une mise à jour majeure du système, sauf si la mise à jour remonte à plus d'un an avant la date de début de cet audit, auquel cas, la preuve doit montrer
- b. justification pour laquelle ce test était toujours approprié.
- Q.B.4. La preuve doit montrer que les données utilisées dans le test étaient datées de moins d'un an avant la date de début du test d'impact différentiel.
Test effectué par: HackerRank
Date du dernier test: 05/10/2023
Période des données: Nov 2022 – Fév 2023
Justification de l'utilisation des données de test: De HackerRank : «Compte tenu du contrat de protection des données avec nos clients, les bibliothèques open source sont sélectionnées pour l'estimation du nom en fonction de la race et du genre, car aucune transmission de données n'est requise à un fournisseur différent. »
Q.C. PCVs quantifiables à impact différentiel : Les PCVs qui peuvent être quantifiés à l'aide du jeu de données de test doivent être définis.
- Q.C.1. La preuve doit identifier les PCVs qui étaient quantifiables en ce qui concerne l'impact différentiel.
- Q.C.2. La preuve doit montrer que les PCVs pouvant être quantifiés incluent au moins : la race, et le genre.
- Q.C.3. La preuve doit divulguer la méthode par laquelle les données PCV ont été collectées.
- Q.C.4. La preuve doit identifier et divulguer les PCVs qui n'ont pas été quantifiés en ce qui concerne l'impact différentiel.
- Q.C.5. Lorsque les données PCV ont été inférées, la preuve doit
a. identifier la méthode par laquelle les données PCV ont été inférées, et
b. justifier pourquoi la méthode sélectionnée pour l'inférence des PCV était appropriée.
PCVs pour lesquels l'impact différentiel a été quantifié :
1. Genre
2. Race/ethnicité
PCVs pour lesquels l'impact différentiel n'a pas été quantifié :
Âge
Statut d'immigration ou de citoyenneté
Statut de handicap
Statut marital et partenariat
Origine nationale
Aménagements pour grossesse et lactation
Religion/croyance
Orientation sexuelle
Statut de vétéran ou de membre actif des forces armées
Q.D. Résultat positif vs. négatif : Lorsque la méthode du taux de sélection a été utilisée, les résultats positifs et négatifs du modèle doivent être clairement définis.
Q.D.1. La preuve doit montrer la justification pour laquelle la définition du résultat positif choisie était appropriée.
Q.D.2. Lorsqu'une limite est utilisée, la preuve doit montrer la justification pour laquelle le ou les niveaux de seuil pour déterminer les résultats positifs vs. négatifs étaient appropriés.
Q.D.3. La preuve doit identifier et divulguer
- a. tous les réglages configurables par l'utilisateur,
- b. si chaque réglage affecte les résultats positifs, et pour tous les réglages qui affectent les résultats,
- c. leur étendue de configurabilité par l'utilisateur,
- d. leurs valeurs par défaut, et
- e. justification pour laquelle ces valeurs par défaut étaient appropriées.
Q.D.4. La preuve doit divulguer les réglages configurables par l'utilisateur et les combinaisons de réglages sur lesquels l'impact différentiel a été testé.
Résultat positif : pas d'être signalé par le système
Paramètres configurables par l'utilisateur pouvant affecter le résultat positif : N/A
Paramètres sur lesquels l'impact différencié a été testé : N/A
Taux de sélection ou taux de scoring Q.E. : Une métrique correspondant au taux de sélection ou au taux de scoring doit être définie.
Q.E.1. Lorsque la méthode du taux de sélection a été utilisée, la preuve doit montrer que le taux de sélection d'un groupe a été défini comme le ratio du résultat positif à tous les résultats pour ce groupe.
Q.E.2. Lorsque la méthode du taux de scoring a été utilisée, la preuve doit montrer que le taux de scoring d'un groupe a été défini comme le taux auquel ce groupe reçoit un score de l'AEDT supérieur au score médian de l'échantillon
Méthode de quantification de l'impact disparate : taux de sélection défini comme le taux auquel les candidats d'un groupe démographique ne sont pas signalés par le système
Q.F. Groupes favorisés, défavorisés : Les groupes favorisés et défavorisés doivent être définis, pour tous les PCV.
Q.F.1. La preuve doit montrer que les groupes favorisés et défavorisés ont été définis selon les taux de sélection ou de scoring ordonnés par le PCV.
Q.F.2. La preuve doit montrer que les groupes concernant la race et l'origine ethnique satisfont § 60-3.4 B dans les lignes directrices EEO.
Q.F.3. Lorsque les groupes concernant la race et l'origine ethnique ne satisfont pas aux lignes directrices EEO, la preuve doit montrer une justification pour laquelle le regroupement EEO n'a pas été utilisé, et la pertinence de tout regroupement substitué.
Q.F.4. La preuve doit montrer que les groupes concernant le genre contiennent au moins « Masculin » et « Féminin ».
Q.F.5. La preuve doit montrer des groupes intersectionnels contenant toutes les permutations de genre et de combinaisons de race/origine ethnique.
Q.F.6. Lorsque la race/origines ethniques et les genres ne sont pas connus pour un échantillon de candidats évalués par l'AEDT, la preuve doit divulguer la taille de son échantillon.
Q.G. Taux d'impact : Les ratios d'impact doivent être divulgués pour tous les groupes défavorisés, pour tous les PCV.
Q.G.1. Lorsqu'un ratio d'impact pour un groupe défavorisé est inférieur à 0,8, des preuves doivent montrer une justification pour expliquer pourquoi le groupe défavorisé est désavantagé.
Q.G.2. Les preuves doivent montrer les résultats de l'analyse d'incertitude (par exemple, erreur standard pour la moyenne) ou la propagation d'erreur des ratios d'impact sous forme d'erreurs ou de barres d'erreur.
Q.G.3. Lorsque les données PCV ont été inférées, les preuves doivent montrer que les erreurs systématiques dues à l'inférence PCV ont été correctement propagées dans les calculs du ratio d'impact.
Q.G.4. Lorsqu'un groupe de genre, de race/ethnie ou intersectionnel a été exclu du calcul du ratio d'impact en raison de sa taille inférieure à 2 % de la taille totale de l'échantillon de chaque analyse, les preuves doivent montrer
la justification de l'exclusion de ce groupe
la taille de l'échantillon de ce groupe, et
le taux de sélection ou de scoring de ce groupe
Non intersectionnel, Genre, trié par ratio d'impact
N candidats
Taux de sélection
Ratio d'impact
Homme
3,732
0.798
1.000
Femme
2,112
0.784
0.982
Non intersectionnel, Race/ethnie, trié par ratio d'impact
N candidats
Taux de sélection
Ratio d'impact
Hispanique ou Latino
1,127
0.860
1.000
Asiatique
1,184
0.835
0.971
Blanc
1,797
0.774
0.900
Noir ou Afro-Américain
1,070
0.762
0.866
3
0.667
N/A
Intersectionnels
Non-Hispanique ou Latino
Homme
807
0.756
0.878
2
0.500
N/A
Femme
807
0.756
0.878
1
1.000
N/A
Note: Les données sur ces candidats n’ont pas été incluses dans les calculs ci-dessus :
- 123 candidats avec une catégorie de genre inconnue
- 1053 candidats avec une catégorie de race/ethnicité inconnue, et
- 1176 candidats avec au moins un genre inconnu ou une race/ethnicité inconnue
7 N/A désigne le groupe démographique représentant moins de 2 % du total des N candidatures dans le tableau
Q.H. Signification statistique : Lorsque la méthode du taux de sélection a été utilisée, le calcul de la signification statistique doit satisfaire UGESP directives.
Q.H.1. La preuve doit montrer que la signification statistique a été calculée en utilisant le test Z binomial à deux échantillons indépendants pour des tailles d’échantillons de 30 ou plus, et en utilisant le test exact de Fisher pour des tailles d’échantillons inférieures à 30.
Gouvernance
G.A. Partie responsable des risques d'impact différencié : Le audité doit avoir une partie responsable des risques liés à l'impact différencié.
- G.A.1. La preuve doit montrer que la partie responsable est un comité, mais peut également montrer que la partie responsable est une seule personne.
- G.A.2. La preuve doit clairement montrer que les risques liés à l'impact différencié sont possédés et gérés par la partie responsable.
Partie responsable : Comité sur les outils de décision automatisée
Coordonnées : rohan.raman@hackerrank.com
Rôle dans l'organisation audité : Groupe/commission de gouvernance
G.B. Fonctions définies de la partie responsable : Les fonctions de la partie responsable des risques d'impact différencié doivent être clairement définies.
- G.B.1. La preuve doit montrer que ces fonctions concernent la propriété, la gestion et la surveillance des risques d'impact différencié.
- G.B.2. La preuve doit montrer que la partie responsable a une influence sur les changements de produit conformément à la contestation efficace dans Directives fédérales sur la gestion des risques de modèle.
G.C. Documentation relative aux fonctions exercées : Le audité doit fournir des preuves que les fonctions définies de la partie responsable des risques d'impact différencié sont exercées.
- G.C.1. La preuve doit montrer que les fonctions définies ont été exercées avant la date de début de cet audit.
Évaluation des risques
Achèvement de l'évaluation des risques: Le audité doit avoir réalisé une évaluation des risques du modèle.
- R.A.1. La preuve doit montrer qu'une évaluation des risques ou une analyse équivalente a été réalisée il y a moins d'un an à la date de délivrance de cet audit.
Preuve de l'achèvement de l'évaluation des risques: Documents d'évaluation des risques (tableur d'évaluation des risques et notes narratives), et témoignage verbal des participants à l'évaluation des risques.
R.B. Identification des risques: L'évaluation des risques doit montrer l'identification des risques pertinents liés aux biais.
- R.B.1. La preuve doit montrer l'identification des risques liés à divers biais tout au long des étapes du cycle de vie de l'IA comme indiqué dans Norme NIST pour l'identification et la gestion des biais dans l'intelligence artificielle.
- R.B.2. La preuve doit montrer la conscience des parties potentiellement affectées par les décisions prises tout au long des étapes du cycle de vie de l'IA.
R.C. Évaluation des risques: L'évaluation des risques doit démontrer une évaluation appropriée des risques pertinents.
- R.C.1. La preuve doit montrer que les risques identifiés sont évalués du point de vue de plusieurs parties prenantes externes et internes affectées, avec des justifications pour l'étendue et le mécanisme par lesquels ces risques affectent ces parties prenantes.
- R.C.2. La preuve doit montrer que les risques identifiés sont évalués de manière suffisamment rigoureuse, en utilisant un schéma d'évaluation quantitatif et/ou qualitatif, et selon plusieurs dimensions, telles que mais sans s'y limiter, la probabilité de préjudice et la gravité du préjudice.
- R.C.3. La preuve doit montrer une justification pour l'évaluation fournie des risques.
Annexe
Méthodologie d'audit
Le processus d'audit
Le cadre d'audit BABL AI est le Processus d'audit, défini comme « un processus de vérification et d'évaluation impartial mené par un auditeur indépendant pour déterminer si des preuves suffisantes existent pour justifier le jugement que les risques liés à l'IA ont été prévenus, détectés, atténués ou autrement gérés. » Un audit de processus est modélisé d'après la pratique de l'audit financier en tant que audit coopératif de tiers et se distingue des autres formes couramment utilisées d'évaluation des algorithmes, telles que les évaluations de première ou de deuxième partie, et l'assurance.8 Le cadre d'audit comprend trois phases :
Définition du périmètre – L'auditeur réalise une enquête préliminaire sur l'algorithme de l'audité pour en acquérir une compréhension complète afin de contextualiser les preuves documentaires
Évaluation & Vérification – L'audité soumet une documentation contenant des preuves démontrant la conformité aux critères d'audit que les auditeurs évaluent et vérifient.
Certification – Si l'audité est jugé conforme aux critères d'audit, l'auditeur rédige le rapport d'audit et certifie l'algorithme de l'audité.
Évaluation & Vérification
La procédure pour tous les auditeurs BABL AI lors de la conduite d'un audit de processus suit les lignes directrices établies dans la Norme d'audit 1105 du Public Company Accounting Oversight Board (PCAOB) sur la preuve d'audit, le cas échéant. Plus précisément, les auditeurs :
Obtenir les revendications et déclarations d'audit à partir de la documentation soumise par l'audité qui soutiennent ou contredisent les critères et sous-critères,
Évaluer les revendications et déclarations en ce qui concerne la satisfaction des critères et sous-critères, en se basant sur la suffisance et l'adéquation des preuves, et
Vérifier que les revendications et déclarations faites par l'audité sont exemptes d'erreurs matérielles, qu'elles soient dues à une fraude ou à une erreur. 9
8 Carrier, R., & Brown, S. (2021). Taxonomie : Audit, Assurance & Évaluation de l'IA. ForHumanity.
https://forhumanity.center/blog/taxonomy-ai-audit-assurance-assessment/
9 « Assurance raisonnable » est un niveau élevé d'assurance mais ne garantit pas qu'un audit effectué conformément aux bonnes pratiques d'audit détecte toujours une erreur matérielle lorsqu'elle existe. Les erreurs peuvent résulter de fraude ou d'erreur et sont considérées comme matérielles si, individuellement ou en agrégat, elles pourraient raisonnablement influencer les décisions des parties prenantes prises sur la base de ces déclarations.
De plus, l'évaluation et la vérification des affirmations et des déclarations peuvent impliquer la demande de preuves documentaires supplémentaires, et/ou l'entretien des responsables de la gouvernance de l'algorithme, d'autres employés pertinents de l'organisation auditée, ou d'autres tiers référencés dans la documentation soumise.
En fin de compte, les auditeurs formulent une opinion d'audit basée sur :
la suffisance et l'adéquation des preuves d'audit, et
le risque d'anomalie significative des preuves d'audit.
Terminologies & Définitions
outil de décision d'emploi automatisé
AEDT
« tout processus computationnel, dérivé de l'apprentissage automatique, de la modélisation statistique, de l'analyse de données ou de l'intelligence artificielle, qui émet une sortie simplifiée, y compris un score, une classification ou une recommandation, utilisée pour aider substantiellement ou remplacer la prise de décision discrétionnaire pour prendre des décisions d'emploi qui impactent des personnes naturelles. » – voir § 20-870 du Code et § 5-300 de la règle adoptée pour la définition complète
groupe défavorisé
tout groupe de genre ou de race/ethnie ne disposant pas du taux de sélection ou du score moyen le plus élevé
impact différentiel ou impact négatif
« un taux de sélection pour une race, un sexe ou un groupe ethnique qui est inférieur aux quatre cinquièmes (⁄) (ou 80%) du taux du groupe ayant le taux le plus élevé sera généralement considéré par les agences fédérales d'application comme une preuve d'impact négatif » – voir § 60-3.4.D de UGESP (1978) pour la définition complète
propagation d'erreur
calcul ou calcul de l'incertitude d'une variable dépendant de l'incertitude d'une autre variable
groupe favorisé
le groupe de genre ou de race/ethnie ayant un taux de sélection ou un score moyen plus élevé par rapport aux autres groupes
rapport d'impact
« soit (1) le taux de sélection pour une catégorie divisé par le taux de sélection de la catégorie la plus sélectionnée, ou (2) le taux de scoring pour une catégorie divisé par le taux de scoring de la catégorie ayant le score le plus élevé. » – voir § 5-300 de la règle adoptée pour la définition complète
taux de scoring
« le taux auquel les individus d'une catégorie reçoivent un score supérieur au score médian de l'échantillon, où le score a été calculé par un AEDT »
justification
une raison convaincante qui met en lumière la question et possède une force normative, par opposition à une simple puissance explicative
résultat positif
la base du taux de sélection, le résultat favorable pour un candidat suite à l'utilisation du modèle, comme être sélectionné pour passer à l'étape suivante du processus de recrutement ou se voir attribuer une classification par un modèle
variables de catégorie protégée
définies par la juridiction, équivalent à la classe protégée, y compris mais sans s'y limiter : race/ethnie, âge, genre, religion, capacité ou handicap, orientation sexuelle, couleur, pays d'origine, classe socioéconomique
évaluation des risques
une évaluation du risque que l'utilisation de l'algorithme impacte négativement les droits et intérêts des parties prenantes, avec une identification correspondante des situations du contexte et/ou des caractéristiques de l'algorithme qui donnent lieu ou contribuent à ces impacts négatifs9
taux de sélection
« le taux auquel les individus d'une catégorie sont soit sélectionnés pour passer à l'étape suivante du processus de recrutement, soit attribués à une classification par un AEDT » – voir § 5-300 de la règle adoptée pour la définition complète
ensemble de données de test
l'ensemble de données utilisé pour tester ou quantifier l'impact différentiel
analyse d'incertitude
calcul ou calcul pour quantifier l'incertitude d'une variable, en produisant des erreurs ou des barres d'erreur
10 Hasan, A., Brown, S., Davidovic, J., Lange, B., & Regan, M. (2022). Biais algorithmique et risque Évaluations : Leçons de la pratique. Société numérique, 1(1). https://doi.org/10.1007/s44206-022-00017-z