Resumen de los Resultados de la Auditoría de Sesgos del Sistema de Detección de Plagio de HackerRank para la Ley Local 144 de la Ciudad de Nueva York
Last updated: December 12, 2024
Carta del Auditor Principal
De: Shea Brown
Auditor Principal
BABL AI Inc.
sheabrown@babl.ai
Para: Interviewstreet Incorporation (HackerRank)
PO Box 1660
211 Hope Street
Mountain View, California 94041
Re: Opinión de auditoría sobre el sistema de detección de plagio de HackerRank
22/07/2024
Hemos auditado de forma independiente las afirmaciones de pruebas de sesgo y la evidencia documental relacionada de HackerRank (la "Empresa") a partir del 22/07/2024, presentadas a BABL AI en relación con el Sistema de Detección de Plagio de la Empresa (el “sistema”) de acuerdo con los criterios y la metodología de auditoría establecidos en este informe. Los objetivos de esta auditoría son:
Determinar si las metodologías, controles y procedimientos de pruebas de sesgo realizados por la Empresa satisfacen los criterios de auditoría (ver
Obtener una seguridad razonable sobre si las declaraciones hechas por la Empresa, incluido el resumen de resultados de las pruebas de sesgo presentados en este informe, están libres de errores materiales, ya sea por fraude o error.
Nota que los criterios presentados en este informe fueron construidos específicamente para abordar los requisitos de una “auditoría de sesgo” descrita en la Ley Local de NYC No. 144 de 2021. El sistema fue auditado como si fuera una herramienta automatizada de decisiones de empleo (AEDT) bajo la Ley Local de NYC No. 144 de 2021, pero no hacemos ninguna determinación sobre si el sistema es, de hecho, un AEDT bajo esta ley.
Responsabilidades de la Empresa
Es responsabilidad de los representantes de la Empresa garantizar que las pruebas de sesgo y los procedimientos relacionados cumplan con los criterios descritos en este informe. Los representantes de la Empresa son responsables de garantizar que los documentos presentados sean presentados de manera justa y sin tergiversaciones, proporcionando todos los recursos y personal necesarios para garantizar un proceso de auditoría efectivo y eficiente, y proporcionando acceso a material probatorio según lo soliciten los auditores.Responsabilidades de BABL AI
Es responsabilidad del auditor principal expresar una opinión sobre las afirmaciones de la Compañía relacionadas con las pruebas de sesgo del sistema. A la luz de la ausencia actual de estándares generalmente aceptados para la auditoría de algoritmos y sistemas autónomos, nuestro examen se realizó de acuerdo con las normas y referencias normativas descritas en este informe.
Esos estándares requieren que planifiquemos y llevemos a cabo procedimientos de auditoría para obtener una seguridad razonable sobre si las afirmaciones mencionadas anteriormente 1) cumplen con los criterios de auditoría y 2) están libres de errores materiales, ya sea por error o fraude. Dentro del alcance de nuestro compromiso, realizamos, entre otros, los siguientes procedimientos:
Inspección de documentos presentados y documentación externa
Entrevistar a empleados de la empresa para comprender el proceso para
determinar el impacto dispar y los resultados de la evaluación de riesgos
Observación de procedimientos analíticos seleccionados utilizados en las pruebas de sesgo de la empresa
Inspección de las muestras seleccionadas de los datos de pruebas de sesgo
Consulta al personal responsable de la gobernanza y supervisión de las pruebas de sesgo y
evaluación de riesgos
Creemos que los procedimientos realizados proporcionan una base razonable para nuestra opinión.
Independencia
Nuestro papel como auditor independiente se ajusta a las definiciones de Independencia de ForHumanity y Sarbanes-Oxley. Las tarifas asociadas con este contrato son por la prestación del servicio para evaluar el cumplimiento. El pago de las tarifas no está relacionado con la decisión emitida. Nuestra decisión se basa únicamente en los criterios presentados a continuación.
Opinión
En nuestra opinión, basada en los procedimientos realizados y la evidencia recibida para obtener seguridad, las pruebas de sesgo y los resultados presentados por la empresa, a partir del 22/07/2024, están preparados, en todos los aspectos materiales, de acuerdo con los criterios descritos a continuación.
Atentamente,
Shea Brown, Ph.D.
Auditor Principal, BABL AI Inc.
Énfasis de Asunto
Enfatizamos varios asuntos relacionados con el conjunto de datos obtenido por HackerRank para probar el impacto dispar: 1) las etiquetas demográficas autodeclaradas no estaban disponibles para el sistema, por lo que las etiquetas de sexo y raza/etnia fueron inferidas, 2) el uso de etiquetas demográficas inferidas significa que los datos probablemente se consideren “Datos de Prueba” bajo § 5-3001, y 3) la cantidad y calidad del conjunto de datos de prueba (ver Hallazgos) fueron limitados debido a la falta de datos históricos. En consecuencia, las conclusiones extraídas de la cuantificación del impacto dispar están sujetas a las limitaciones derivadas del conjunto de datos y deben interpretarse a la luz de esta restricción. Nuestra opinión no se modifica respecto a este asunto.
1 Esto queda a la discreción del Departamento de Protección al Consumidor y Trabajador de NYC. 4
Descripción del Sistema
BABL AI fue contratado para auditar la prueba del Sistema de Detección de Plagio de HackerRank.
De HackerRank: “El sistema de detección de plagio utiliza señales generadas por el usuario en un algoritmo avanzado de aprendizaje automático para marcar comportamientos sospechosos durante una evaluación. Al entender las iteraciones del código realizadas por el candidato, el modelo puede predecir si tuvieron ayuda externa importante.
Es importante señalar,... [que HackerRank] hizo los siguientes esfuerzos para prevenir posibles sesgos por PII o hábitos de codificación o sesgos relacionados con la dificultad de las preguntas:
No hay información de raza, género o PII en su entrenamiento o en el momento de la inferencia.
No se utiliza datos de velocidad de tipeo en el modelo ya que consideramos que la velocidad de tipeo es más como un
hábito personal en lugar de indicadores de plagio.
Las características se normalizan respecto a la misma pregunta para minimizar el sesgo de diferentes dificultades de las preguntas.
Toma de decisiones con intervención humana: el sistema de plagio de codificación ML nunca eliminará automáticamente a los candidatos de la predicción del modelo. En cambio, proporcionamos un informe completo de los intentos sospechosos... Nuestros clientes pueden revisar el informe detallado y verificar la reproducción del código por sí mismos para decidir si avanzan con un candidato.”
Resumen de la Auditoría
Antecedentes
La Ley Local de la Ciudad de Nueva York No. 144 de 2021 requiere auditorías anuales de “sesgos” para las herramientas automatizadas de decisiones de empleo (AEDTs) utilizadas para ayudar sustancialmente o reemplazar decisiones en contratación o promoción. Específicamente, la ley establece que (1) la auditoría de sesgos debe “evaluar el impacto dispar” de los AEDTs en ciertas personas, (2) la auditoría debe ser realizada por un “auditor independiente ... no más de un año antes del uso”, y (3) un “resumen de los resultados de la auditoría de sesgos más reciente ... [debe ser] puesto a disposición públicamente en el sitio web del empleador o agencia de empleo.” La auditoría descrita en este documento se ha llevado a cabo para cumplir con el requisito de la ley solo para una auditoría de sesgos, y no incluye otros requisitos como notificaciones a los candidatos. Este informe no realiza ninguna determinación sobre si el sistema bajo esta auditoría es, de hecho, una herramienta automatizada de decisiones de empleo según lo definido en la Ley Local de NYC 144, o no.
Responsabilidades del Auditor
Es responsabilidad de los auditores de BABL AI:
Obtener una seguridad razonable sobre si las declaraciones hechas por el auditado están libres de errores materiales, ya sea por fraude o error,
Determinar si las declaraciones hechas por el auditado proporcionan evidencia suficiente de que se han cumplido los criterios de auditoría (ver Hallazgos) , y
Emitir un informe del auditor que incluya una opinión.
Como parte de una auditoría de acuerdo con buenas prácticas de auditoría, BABL AI ejerce juicio profesional y mantiene escepticismo profesional durante toda la auditoría. Específicamente, los auditores de BABL AI identifican y evalúan los riesgos de errores materiales en los documentos proporcionados por el auditado, realizan procedimientos de auditoría en respuesta a esos riesgos, y obtienen evidencia de auditoría que sea suficiente y apropiada para fundamentar nuestra opinión, según la Norma de Auditoría 1105 del Public Company Accounting Oversight Board (PCAOB) sobre Evidencia de Auditoría,2 cuando sea aplicable. Además, este informe de auditoría sigue las directrices de la Norma Internacional sobre Compromisos de Aseguramiento (ISAE) 3000 sobre Informe de Aseguramiento, cuando sea aplicable.3
BABL AI también es responsable de mantener la independencia y objetividad de los auditores para garantizar la integridad de la opinión y certificación proporcionadas. BABL AI como organización, y todos los auditores empleados y contratados, adhieren a una estricta independencia según lo codificado por la Ley Sarbanes–Oxley de 20024 y el Código de Ética de ForHumanity.5 Además, los Auditores Líder de BABL AI son Auditores Certificados de ForHumanity bajo la Auditoría de Sesgos AEDT de NYC.6 Para más detalles sobre nuestra metodología y proceso, consulte el Apéndice – Metodología de Auditoría.
2 https://pcaobus.org/oversight/standards/auditing-standards/details/AS1105
3 https://www.iaasb.org/publications/international-standard-assurance-engagements-isae-3000 -revised-assurance-engagements-other-audits-or-0
Alcance y Objetivo
Fuera del Alcance
La auditoría no aseguró pruebas suficientes del impacto dispar de la herramienta en ninguna otra clase protegida más allá de raza/etnia y género
La auditoría no certificó que el sistema sea “libre de sesgos”
La auditoría no está destinada a fines de cumplimiento para ninguna legislación aparte de la Ley Local de NYC No. 144
Conclusiones
Nuestras opiniones para la auditoría de sesgo del Sistema de Detección de Plagio por HackerRank son las siguientes:
Hallazgos
Nota: La información divulgada bajo cada criterio no es evidencia documental.
Cuantificación del Impacto Dispar
Componentes Q.A.: El sistema que se va a probar para impacto dispar debe estar definido.
- Q.A.1. Cuando el sistema comprenda más de un componente automatizado, la evidencia debe mostrar una definición adecuada del sistema.
Componentes o combinaciones de componentes que fueron probados: N/A
Q.B. Conjunto de datos de prueba: El conjunto de datos en el que se cuantificó el impacto dispar debe estar definido y caracterizado.
- Q.B.1. La evidencia debe mostrar una justificación de por qué el conjunto de datos seleccionado fue apropiado para la prueba de impacto dispar.
- Q.B.2. Cuando se utilizó datos de prueba como se define en § 5-300, la evidencia debe mostrar
- a. justificación para no usar datos históricos,
- b. que los datos históricos no son suficientes para realizar una prueba de impacto dispar estadísticamente significativa,
y - c. la metodología por la cual se recopilaron los datos de prueba
- Q.B.3. Cuando no se completó la prueba de impacto dispar por BABL, la evidencia debe mostrar
- a. que la prueba más reciente se realizó hace menos de un año desde la fecha de inicio de esta auditoría, o después de una actualización importante del sistema, a menos que la actualización haya sido hace más de un año desde la fecha de inicio de esta auditoría, en cuyo caso, la evidencia debe mostrar
- b. justificación de por qué dicha prueba seguía siendo apropiada.
- Q.B.4. La evidencia debe mostrar que los datos utilizados en la prueba estaban dentro de un año desde la fecha de inicio de la prueba de impacto dispar.
Realizado por: HackerRank
Fecha de la última prueba: 05/10/2023
Periodo de tiempo de los datos: Nov 2022 – Feb 2023
Justificación para el uso de Datos de Prueba: De HackerRank: “Debido al contrato de protección de datos con nuestros clientes, las bibliotecas de código abierto se seleccionan para la estimación de raza y género a partir del nombre, ya que no se requiere transferencia de datos a un proveedor diferente.”
Q.C. PCVs cuantificables de impacto dispar: Se definirán los PCVs que puedan ser cuantificados usando el conjunto de datos de prueba.
- Q.C.1. La evidencia deberá identificar los PCVs que fueron cuantificables en relación con el impacto dispar.
- Q.C.2. La evidencia deberá mostrar que los PCVs que pueden ser cuantificados incluyen al menos: raza y género.
- Q.C.3. La evidencia deberá divulgar el método por el cual se recopilaron los datos de PCV.
- Q.C.4. La evidencia deberá identificar y divulgar los PCVs que no fueron cuantificados en relación con el impacto dispar.
- Q.C.5. Cuando los datos de PCV fueron inferidos, la evidencia deberá
a. identificar el método por el cual se infirió el dato de PCV, y
b. mostrar la justificación de por qué el método seleccionado para la inferencia de PCV fue apropiado.
PCVs para los cuales se cuantificó el impacto dispar:
1. Género
2. Raza/etnia
PCVs para los cuales no se cuantificó el impacto dispar:
Edad
Estado de inmigración o ciudadanía
Estado de discapacidad
Estado civil y estado de pareja
Origen nacional
Acomodaciones para embarazo y lactancia
Religión/credo
Orientación sexual
Estado de veterano o miembro activo del servicio militar
Q.D. Resultado positivo vs. negativo: Cuando se utilizó el método de tasa de selección, los resultados positivos y negativos del modelo deben estar claramente definidos.
Q.D.1. La evidencia debe mostrar justificación de por qué la definición de resultado positivo seleccionada fue apropiada.
Q.D.2. Cuando se utiliza umbral, la evidencia debe mostrar justificación de por qué el nivel/niveles de umbral para determinar resultados positivos vs. negativos fue/fueron apropiados.
Q.D.3. La evidencia debe identificar y divulgar
- a. todas las configuraciones que el usuario puede ajustar,
- b. si cada configuración afecta los resultados positivos, y para todas las configuraciones que afectan los resultados,
- c. sus grados de configurabilidad por parte del usuario,
- d. sus valores predeterminados, y
- e. justificación de por qué dichos valores predeterminados fueron apropiados.
Q.D.4. La evidencia debe divulgar las configuraciones ajustables por el usuario y las combinaciones de configuraciones en las que se probó el impacto dispar.
Resultado positivo: no ser marcado por el sistema
Configuraciones que puede configurar el usuario y que pueden afectar el resultado positivo: N/A
Configuraciones en las que se probó el impacto dispar: N/A
Q.E. Tasa de selección o tasa de puntuación: Se definirá una métrica que corresponda a la tasa de selección o tasa de puntuación.
Q.E.1. Cuando se utilizó el método de tasa de selección, la evidencia debe mostrar que la tasa de selección de un grupo se definió como la proporción de resultado positivo sobre todos los resultados para ese grupo.
Q.E.2. Cuando se utilizó el método de tasa de puntuación, la evidencia debe mostrar que la tasa de puntuación de un grupo se definió como la tasa en la que ese grupo recibe una puntuación del AEDT por encima de la puntuación mediana de la muestra
Método de cuantificación del impacto dispar: tasa de selección definida como la tasa a la que los candidatos en un grupo demográfico no son señalados por el sistema
Q.F. Grupos favorecidos y desfavorecidos: Los grupos favorecidos y desfavorecidos se definirán, para todos los PCV.
Q.F.1. La evidencia mostrará que los grupos favorecidos y desfavorecidos fueron definidos de acuerdo con las tasas de selección o puntuación ordenadas por el PCV.
Q.F.2. La evidencia mostrará que los grupos relacionados con raza y etnia cumplen § 60-3.4 B en las directrices de EEO.
Q.F.3. Cuando los grupos relacionados con raza y etnia no cumplan con las directrices de EEO, la evidencia deberá mostrar justificación de por qué no se utilizó la agrupación EEO, y la idoneidad de cualquier agrupación sustitutiva.
Q.F.4. La evidencia mostrará que los grupos relacionados con género contienen al menos “Masculino” y “Femenino”.
Q.F.5. La evidencia mostrará grupos interseccionales que contienen todas las permutaciones de género y combinaciones de raza/etnia.
Q.F.6. Cuando la raza/etnias y géneros no sean conocidos para una muestra de candidatos evaluados por el AEDT, la evidencia deberá divulgar su tamaño de muestra.
Q.G. Relación de impacto: Las relaciones de impacto deberán divulgarse para todos los grupos desfavorecidos, para todos los PCV.
Q.G.1. Cuando una relación de impacto para un grupo desfavorecido esté por debajo de 0.8, la evidencia deberá mostrar una justificación de por qué el grupo desfavorecido está en desventaja.
Q.G.2. La evidencia deberá mostrar resultados del análisis de incertidumbre (por ejemplo, error estándar de la media) o propagación del error de las relaciones de impacto en forma de errores o barras de error.
Q.G.3. Cuando los datos de PCV fueron inferidos, la evidencia deberá mostrar que los errores sistemáticos debido a la inferencia de PCV fueron correctamente propagados en los cálculos de la relación de impacto.
Q.G.4. Cuando un grupo de género, raza/etnia, o interseccional fue excluido del cálculo de la relación de impacto debido a que su tamaño fue inferior al 2% del tamaño total de la muestra de cada análisis, la evidencia deberá mostrar
justificación para la exclusión de dicho grupo
el tamaño de muestra de dicho grupo, y
la tasa de selección o tasa de puntuación de dicho grupo
No interseccional, Género, ordenado por relación de impacto
N solicitantes
Tasa de selección
Relación de impacto
Hombre
3,732
0.798
1.000
Mujer
2,112
0.784
0.982
No interseccional, Raza/etnia, ordenado por relación de impacto
N solicitantes
Tasa de selección
Relación de impacto
Hispano o Latino
1,127
0.860
1.000
Asiático
1,184
0.835
0.971
Blanco
1,797
0.774
0.900
Negro o Afroamericano
1,070
0.762
0.866
3
0.667
N/A
Interseccionales
No Hispano o Latino
Hombre
807
0.756
0.878
2
0.500
N/A
Mujer
807
0.756
0.878
1
1.000
N/A
Nota: Los datos sobre estos solicitantes no se incluyeron en los cálculos anteriores:
- 123 solicitantes con una categoría de género desconocida
- 1053 solicitantes con una categoría de raza/etnia desconocida, y
- 1176 solicitantes con al menos un género desconocido o una raza/etnia desconocida
7 N/A se refiere al grupo demográfico que representa menos del 2% del total de solicitudes N en la tabla
Q.H. Significación estadística: Donde se utilizó el método de tasa de selección, el cálculo de significancia estadística deberá cumplir con UGESP directrices.
Q.H.1. La evidencia deberá mostrar que la significancia estadística se calculó utilizando la Prueba Z Binomial de Muestras Independientes para muestras de 30 o más, y utilizando la Prueba Exacta de Fisher para muestras de menos de 30.
Gobernanza
G.A. Parte responsable por riesgos de impacto dispar: El auditado deberá tener una parte responsable de los riesgos relacionados con el impacto dispar.
- G.A.1. La evidencia debe mostrar que la parte responsable es un comité, pero también puede mostrar que la parte responsable es un individuo único.
- G.A.2. La evidencia debe mostrar claramente que los riesgos relacionados con el impacto dispar son propiedad y están gestionados por la parte responsable.
Parte responsable: Comité de Herramientas de Decisión Automatizada
Información de contacto: rohan.raman@hackerrank.com
Rol en la organización auditada: Grupo/comité de gobernanza
G.B. Funciones definidas de la parte responsable: Las funciones de la parte responsable de los riesgos de impacto dispar deben estar claramente definidas.
- G.B.1. La evidencia debe mostrar que dichas funciones corresponden a la propiedad, gestión y monitoreo de los riesgos de impacto dispar.
- G.B.2. La evidencia debe mostrar que la parte responsable tiene influencia sobre los cambios en el producto según el desafío efectivo en Guía Federal sobre Gestión de Riesgos de Modelos.
G.C. Documentación relacionada con las funciones realizadas: El auditado deberá proporcionar evidencia de que las funciones definidas de la parte responsable de los riesgos de impacto dispar se llevan a cabo.
- G.C.1. La evidencia debe mostrar que las funciones definidas se llevaron a cabo antes de la fecha de inicio de esta auditoría.
Evaluación de Riesgos
Finalización de la R.A.: El auditado deberá haber completado una evaluación de riesgos del modelo.
- R.A.1. La evidencia deberá mostrar que se realizó una evaluación de riesgos o un análisis equivalente en menos de un año antes de la fecha de emisión de esta auditoría.
Evidencia de finalización de la Evaluación de Riesgos: Documentos de Evaluación de Riesgos (hoja de cálculo de evaluación de riesgos y notas narrativas), y testimonio verbal de los participantes en la Evaluación de Riesgos.
R.B. Identificación de riesgos: La evaluación de riesgos deberá mostrar la identificación de riesgos relevantes relacionados con sesgos.
- R.B.1. La evidencia deberá mostrar la identificación de riesgos relacionados con diversos sesgos a lo largo de todas las etapas del ciclo de vida de la IA, como se indica en Estándar NIST para la Identificación y Gestión de Sesgos en Inteligencia Artificial.
- R.B.2. La evidencia deberá mostrar conciencia de las partes potencialmente afectadas por las decisiones tomadas a lo largo de todas las etapas del ciclo de vida de la IA.
R.C. Evaluación de riesgos: La evaluación de riesgos deberá demostrar una evaluación adecuada de los riesgos relevantes.
- R.C.1. La evidencia deberá mostrar que los riesgos identificados son evaluados desde las perspectivas de múltiples partes interesadas externas e internas afectadas, con justificaciones para el alcance y mecanismo por el cual dichos riesgos afectan a estas partes interesadas.
- R.C.2. La evidencia deberá mostrar que los riesgos identificados son evaluados de manera suficientemente rigurosa, utilizando un esquema de evaluación cuantitativa y/o cualitativa, y a lo largo de múltiples dimensiones, como pero no limitado a la probabilidad de daño y la gravedad del daño.
- R.C.3. La evidencia deberá mostrar justificación para la evaluación de riesgos proporcionada.
Apéndice
Metodología de Auditoría
La Auditoría de Procesos
El marco de auditoría de IA BABL es el Proceso de Auditoría, definido como “un proceso de verificación y evaluación imparcial realizado por un auditor independiente para determinar si existe suficiente evidencia que justifique el juicio de que los riesgos de IA han sido prevenidos, detectados, mitigados o de otra manera gestionados.” Una auditoría de proceso se modela según la práctica de auditoría financiera como una auditoría cooperativa de terceros , y se distingue de otras formas comúnmente utilizadas de evaluación de algoritmos, como evaluaciones de primera o segunda parte, y garantías.8 El marco de auditoría contiene tres fases:
Definición del alcance – El auditor realiza una encuesta preliminar del algoritmo del auditado para obtener una comprensión completa y contextualizar la evidencia documental
Evaluación y Verificación – El auditado presenta documentación que contiene evidencia que demuestra el cumplimiento de los criterios de auditoría que los auditores evalúan y verifican.
Certificación – Si se determina que el auditado cumple con los criterios de auditoría, el auditor redacta el informe del auditor y certifica el algoritmo del auditado.
Evaluación y Verificación
El procedimiento para todos los auditores de IA BABL en la realización de una auditoría de proceso sigue las directrices establecidas en la Norma de Auditoría 1105 del Public Company Accounting Oversight Board (PCAOB), cuando sea aplicable. Específicamente, los auditores:
Obtener reclamaciones y declaraciones de auditoría de la documentación presentada por el auditado que respalden o contradigan los criterios y subcriterios,
Evaluar las reclamaciones y declaraciones en relación con el cumplimiento de los criterios y subcriterios, basándose en la suficiencia y pertinencia de la evidencia, y
Verificar que las reclamaciones y declaraciones realizadas por el auditado estén libres de errores materiales, ya sea por fraude o error.9
8 Carrier, R., & Brown, S. (2021). Taxonomía: Auditoría, Garantía y Evaluación de IA. ForHumanity.
https://forhumanity.center/blog/taxonomy-ai-audit-assurance-assessment/
9 La “garantía razonable” es un alto nivel de certeza, pero no una garantía de que una auditoría realizada de acuerdo con buenas prácticas de auditoría siempre detecta un error material cuando existe. Los errores pueden surgir por fraude o error y se consideran materiales si, individualmente o en conjunto, podrían influir razonablemente en las decisiones de las partes interesadas tomadas en base a estas declaraciones.
Además, la evaluación y verificación de reclamaciones y declaraciones puede implicar solicitar evidencia documental adicional de respaldo, y/o entrevistar a los responsables de la gobernanza del algoritmo, otros empleados relevantes de la organización auditada, u otros terceros referenciados en la documentación presentada.
Al final, los auditores llegan a una opinión de auditoría basada en:
la suficiencia y adecuación de la evidencia de auditoría, y
el riesgo de declaración errónea material de la evidencia de auditoría.
Términos y Definiciones
herramienta automatizada de decisiones de empleo
AEDT
“cualquier proceso computacional, derivado del aprendizaje automático, modelado estadístico, análisis de datos, o inteligencia artificial, que emite resultados simplificados, incluyendo una puntuación, clasificación, o recomendación, que se utiliza para asistir sustancialmente o reemplazar la toma de decisiones discrecionales para tomar decisiones de empleo que afectan a personas naturales.” – ver § 20-870 del Código y § 5-300 de la regla adoptada para definición completa
grupo desfavorecido
cualquier grupo de género o raza/etnia que no tenga la tasa de selección o puntuación promedio más alta
impacto dispar o impacto adverso
“una tasa de selección para cualquier raza, sexo, o grupo étnico que sea menos de cuatro quintos (⁄) (o 80%) de la tasa para el grupo con la tasa más alta será generalmente considerada por las agencias federales de cumplimiento como evidencia de impacto adverso” – ver § 60-3.4.D de UGESP (1978) para definición completa
propagación de errores
cálculo o computación de la incertidumbre de una variable que depende de la incertidumbre de otra variable
grupo favorecido
el grupo de género o raza/etnia que tiene la tasa de selección o puntuación promedio más alta en comparación con otros grupos
índice de impacto
“ya sea (1) la tasa de selección para una categoría dividida por la tasa de selección de la categoría más seleccionada o (2) la tasa de puntuación para una categoría dividida por la tasa de puntuación de la categoría con la puntuación más alta. ” – ver § 5-300 de la regla adoptada para definición completa
tasa de puntuación
“la tasa a la cual los individuos en una categoría reciben una puntuación por encima de la puntuación mediana de la muestra, donde la puntuación ha sido calculada por un AEDT”
justificación
una razón convincente que ilumina el problema y tiene fuerza normativa, en lugar de solo poder explicativo
resultado positivo
la base para la tasa de selección, el resultado favorable para un candidato del uso del modelo, como ser seleccionado para avanzar en el proceso de contratación o asignado a una clasificación por un modelo
variables de categoría protegida
definido por jurisdicción, equivalente a clase protegida, incluyendo pero no limitado a: raza/etnia, edad, género, religión, capacidad o discapacidad, orientación sexual, color, país de origen, clase socioeconómica
evaluación de riesgos
una evaluación del riesgo de que el uso del algoritmo impacte negativamente los derechos e intereses de las partes interesadas, con una identificación correspondiente de las situaciones del contexto y/o características del algoritmo que dan lugar o contribuyen a estos impactos negativos9
tasa de selección
“la tasa a la cual los individuos en una categoría son seleccionados para avanzar en el proceso de contratación o asignados a una clasificación por un AEDT” – ver § 5-300 de la regla adoptada para definición completa
conjunto de datos de prueba
el conjunto de datos utilizado para probar o cuantificar impacto dispar
análisis de incertidumbre
cálculo o computación para cuantificar la incertidumbre de una variable, produciendo errores o barras de error
10 Hasan, A., Brown, S., Davidovic, J., Lange, B., & Regan, M. (2022). Sesgo algorítmico y riesgo Evaluaciones: Lecciones de la práctica. Sociedad Digital, 1(1). https://doi.org/10.1007/s44206-022-00017-z