Resumo dos Resultados da Auditoria de Viés do Sistema de Detecção de Plágio do HackerRank para a Lei Local 144 de Nova York
Last updated: December 12, 2024
Carta do Auditor Principal
De: Shea Brown
Auditor Principal
BABL AI Inc.
sheabrown@babl.ai
Para: Interviewstreet Incorporation (HackerRank)
Caixa Postal 1660
211 Hope Street
Mountain View, Califórnia 94041
Ref: Opinião de Auditoria sobre o Sistema de Detecção de Plágio do HackerRank
22/07/2024
Auditoramos de forma independente as afirmações de testes de viés e as evidências documentais relacionadas do HackerRank (a "Empresa") em 22/07/2024, apresentadas à BABL AI em relação ao Sistema de Detecção de Plágio da Empresa (o “sistema”) de acordo com os critérios e a metodologia de auditoria estabelecidos neste relatório. Os objetivos desta auditoria são:
Determinar se as metodologias, controles e procedimentos de testes de viés realizados pela Empresa satisfazem os critérios de auditoria (ver
Obter uma garantia razoável sobre se as declarações feitas pela Empresa, incluindo o resumo dos resultados de testes de viés apresentados neste relatório, estão livres de declarações incorretas materiais, seja por fraude ou erro.
Observe que os critérios apresentados neste relatório foram construídos especificamente para atender aos requisitos de uma “auditoria de viés” descrita na Lei Local de NYC nº 144 de 2021. O sistema foi auditado como se fosse uma ferramenta automatizada de decisão de emprego (AEDT) sob a Lei Local de NYC nº 144 de 2021, mas não fazemos nenhuma determinação se o sistema é, de fato, uma AEDT sob esta lei.
Responsabilidades da Empresa
É responsabilidade dos representantes da Empresa garantir que os testes de viés e os procedimentos relacionados estejam em conformidade com os critérios descritos neste relatório. Os representantes da Empresa são responsáveis por garantir que os documentos apresentados sejam apresentados de forma justa e sem distorções, fornecendo todos os recursos e pessoal necessários para garantir um processo de auditoria eficaz e eficiente, e fornecendo acesso ao material probatório conforme solicitado pelos auditores.Responsabilidades do BABL AI
É responsabilidade do auditor principal expressar uma opinião sobre as afirmações da Empresa relacionadas ao teste de viés do sistema. À luz da ausência atual de padrões geralmente aceitos para auditoria de algoritmos e sistemas autônomos, nossa análise foi conduzida de acordo com os padrões e referências normativas descritos neste relatório.
Esses padrões exigem que planejemos e executemos procedimentos de auditoria para obter uma garantia razoável de que as afirmações mencionadas acima 1) satisfazem os critérios de auditoria e 2) estão livres de declarações incorretas materiais, seja por erro ou fraude. Dentro do escopo do nosso compromisso, realizamos, entre outros, os seguintes procedimentos:
Inspeção de documentos submetidos e documentação externa
Entrevista com funcionários da Empresa para entender o processo de
determinação do impacto dispar e resultados da avaliação de risco
Observação de procedimentos analíticos selecionados utilizados no teste de viés da Empresa
Inspeção de amostras selecionadas dos dados de teste de viés
Inquérito aos responsáveis pela governança e supervisão do teste de viés e
avaliação de risco
Acreditamos que os procedimentos realizados fornecem uma base razoável para nossa opinião.
Independência
Nosso papel como auditor independente está em conformidade com as definições de Independência do ForHumanity e Sarbanes-Oxley. As taxas associadas a este contrato são para a prestação do serviço de avaliação de conformidade. O pagamento das taxas não está relacionado à decisão emitida. Nossa decisão é fundamentada exclusivamente nos critérios apresentados abaixo.
Opinião
Na nossa opinião, com base nos procedimentos realizados e nas evidências recebidas para obter garantia, o teste de viés e os resultados apresentados pela Empresa, em 22/07/2024, estão preparados, em todos os aspectos materiais, de acordo com os critérios descritos abaixo.
Atenciosamente,
Shea Brown, Ph.D.
Auditor Principal, BABL AI Inc.
Ênfase de Assunto
Enfatizamos várias questões relacionadas ao conjunto de dados obtido pelo HackerRank para testar impacto dispar. 1) rótulos demográficos auto-declarados não estavam disponíveis para o sistema, portanto, os rótulos de sexo e raça/etnia foram inferidos, 2) o uso de rótulos demográficos inferidos significa que os dados provavelmente serão considerados “Dados de Teste” sob § 5-3001, e 3) a quantidade e qualidade do conjunto de dados de teste (veja Resultados) foram limitadas devido à falta de dados históricos. Consequentemente, as conclusões tiradas da quantificação do impacto dispar estão sujeitas às limitações decorrentes do conjunto de dados e devem ser interpretadas à luz dessa restrição. Nossa opinião não é modificada em relação a este assunto.
1 Isto fica a critério do Departamento de Proteção ao Consumidor e Trabalhador de NYC. 4
Descrição do Sistema
A BABL AI foi contratada para auditar os testes do HackerRank em seu Sistema de Detecção de Plágio.
Da HackerRank: “O sistema de detecção de plágio usa sinais gerados pelo usuário em um algoritmo avançado de aprendizado de máquina para identificar comportamentos suspeitos durante uma avaliação. Ao entender as iterações de código feitas pelo candidato, o modelo pode prever se ele recebeu ajuda externa significativa.
É importante notar,... [que a HackerRank] fez os seguintes esforços para prevenir possíveis vieses de PII ou hábitos de codificação ou viés relacionado à dificuldade da questão:
Sem informações de raça, gênero ou PII em seu treinamento ou no momento da inferência.
Dados de velocidade de digitação não são usados no modelo, pois consideramos que a velocidade de digitação é mais como um
hábito pessoal do que indicadores de plágio.
As características são normalizadas em relação à mesma questão para minimizar o viés de dificuldades diferentes de questões.
Decisão humana no ciclo de decisão: o sistema de plágio de codificação ML nunca removerá automaticamente candidatos da previsão do modelo. Em vez disso, fornecemos um relatório abrangente das tentativas suspeitas... Nossos clientes podem revisar o relatório detalhado e verificar a reprodução do código por si mesmos para decidir se devem avançar com um candidato.”
Resumo da Auditoria
Contexto
A Lei Local de Nova York nº 144 de 2021 exige auditorias anuais de “viés” para ferramentas automatizadas de decisão de emprego (AEDTs) usadas para auxiliar substancialmente ou substituir decisões na contratação ou promoção. Especificamente, a lei afirma que (1) a auditoria de viés deve “avaliar o impacto disparo” dos AEDTs em certas pessoas, (2) a auditoria deve ser conduzida por um “auditor independente ... não mais de um ano antes do uso”, e (3) um “resumo dos resultados da auditoria de viés mais recente ... [deve ser] disponibilizado publicamente no site do empregador ou agência de emprego.” A auditoria descrita neste documento foi conduzida para atender ao requisito da lei apenas para uma auditoria de viés, e não inclui outros requisitos, como notificações aos candidatos. Este relatório não faz qualquer determinação se o sistema sob esta auditoria é, de fato, uma ferramenta automatizada de decisão de emprego conforme definido na Lei Local de NYC nº 144, ou não.
Responsabilidades do Auditor
É responsabilidade dos auditores da BABL AI:
Obter garantia razoável quanto à veracidade das declarações feitas pelo auditado, livres de declaração material incorreta, seja por fraude ou erro,
Determinar se as declarações feitas pelo auditado fornecem evidências suficientes de que os critérios de auditoria (ver Constatações) foram satisfeitos, e
Emitir um relatório de auditoria que inclua uma opinião.
Como parte de uma auditoria de acordo com boas práticas de auditoria, a BABL AI exerce julgamento profissional e mantém ceticismo profissional durante toda a auditoria. Especificamente, os auditores da BABL AI identificam e avaliam os riscos de declaração material incorreta em documentos fornecidos pelo auditado, realizam procedimentos de auditoria responsivos a esses riscos e obtêm evidências de auditoria que sejam suficientes e apropriadas para fundamentar nossa opinião, conforme a Norma de Auditoria do Conselho de Supervisão de Contas Públicas (PCAOB) 1105 sobre Evidência de Auditoria,2 quando aplicável. Além disso, este relatório de auditoria segue as diretrizes da Norma Internacional sobre Compromissos de Garantia (ISAE) 3000 sobre Relatório de Garantia, quando aplicável.3
A BABL AI também é responsável por manter a independência e objetividade dos auditores para garantir a integridade da opinião e certificação fornecidas. A BABL AI, como organização, e todos os auditores empregados e contratados, aderem a uma independência rigorosa conforme codificado pela Lei Sarbanes–Oxley de 20024 e pelo Código de Ética da ForHumanity.5 Além disso, os Auditores Líder da BABL AI são Auditores Certificados pela ForHumanity sob a auditoria de viés do AEDT de NYC.6 Para mais detalhes sobre nossa metodologia e processo, consulte o Apêndice – Metodologia de Auditoria.
2 https://pcaobus.org/oversight/standards/auditing-standards/details/AS1105
3 https://www.iaasb.org/publications/international-standard-assurance-engagements-isae-3000 -revised-assurance-engagements-other-audits-or-0
Escopo & Objetivo
Fora do Escopo
A auditoria não garantiu testes suficientes do impacto disparatado da ferramenta em qualquer outra classe protegida além de raça/etnia e gênero
A auditoria não certificou que o sistema é “livre de viés”
A auditoria não é destinada a fins de conformidade para qualquer legislação além da Lei Local de NYC nº 144
Conclusões
Nossas opiniões para a auditoria de viés do Sistema de Detecção de Plágio por HackerRank são as seguintes:
Constatações
Nota: As informações divulgadas sob cada critério não são evidências documentais.
Quantificação do Impacto Dispar
Componentes Q.A.: O sistema a ser testado para impacto dispar deve ser definido.
- Q.A.1. Quando o sistema compreende mais de um componente automatizado, as evidências devem mostrar definição adequada do sistema.
Componentes ou combinações de componentes que foram testados: N/A
Q.B. Conjunto de dados de teste: O conjunto de dados no qual o impacto dispar foi quantificado deve ser definido e caracterizado.
- Q.B.1. As evidências devem mostrar justificativa para o motivo pelo qual o conjunto de dados selecionado foi adequado para o teste de impacto dispar.
- Q.B.2. Quando os dados de teste, conforme definido em § 5-300, foram utilizados, as evidências devem mostrar
- a. justificativa para não usar dados históricos,
- b. que os dados históricos não são suficientes para realizar um teste de impacto dispar estatisticamente significativo,
e - c. a metodologia pela qual os dados de teste foram coletados
- Q.B.3. Quando o teste de impacto dispar não foi concluído pela BABL, as evidências devem mostrar
- a. que o teste mais recente foi realizado há menos de um ano da data de início desta auditoria, ou após uma atualização importante no sistema, a menos que a atualização tenha sido feita há mais de um ano da data de início desta auditoria, caso em que, as evidências devem mostrar
- b. justificativa para o motivo pelo qual tal teste ainda era adequado.
- Q.B.4. As evidências devem mostrar que os dados utilizados no teste estavam dentro de um ano da data de início do teste de impacto dispar.
Testado por: HackerRank
Data da última avaliação: 05/10/2023
Período dos dados: Nov 2022 – Fev 2023
Justificativa para o uso de Dados de Teste: Da HackerRank: “Devido ao contrato de proteção de dados com nossos clientes, bibliotecas de código aberto são selecionadas para estimativa de raça e gênero a partir do nome, pois nenhuma transferência de dados é necessária para um fornecedor diferente.”
Q.C. Disparidade de impacto quantificável PCVs: PCVs que podem ser quantificados usando o conjunto de dados de teste devem ser definidos.
- Q.C.1. As evidências devem identificar PCVs que foram quantificáveis em relação ao impacto disparitário.
- Q.C.2. As evidências devem mostrar que os PCVs que podem ser quantificados incluem pelo menos: raça e gênero.
- Q.C.3. As evidências devem divulgar o método pelo qual os dados de PCV foram coletados.
- Q.C.4. As evidências devem identificar e divulgar PCVs que não foram quantificados em relação ao impacto disparitário.
- Q.C.5. Quando os dados de PCV foram inferidos, as evidências devem
a. identificar o método pelo qual os dados de PCV foram inferidos, e
b. mostrar justificativa para a escolha do método de inferência de PCV.
PCVs para os quais o impacto dispar foi quantificado:
1. Gênero
2. Raça/etnia
PCVs para os quais o impacto dispar não foi quantificado:
Idade
Status de imigração ou cidadania
Status de deficiência
Status marital e de parceria
Origem nacional
Acomodações para gravidez e lactação
Religião/credo
Orientação sexual
Status de veterano ou membro ativo das forças armadas
Q.D. Resultado positivo vs. negativo: Quando o método de taxa de seleção foi usado, resultados positivos e negativos do modelo devem ser claramente definidos.
Q.D.1. As evidências devem mostrar justificativa para por que a definição de resultado positivo foi adequada.
Q.D.2. Quando a limiarização é usada, as evidências devem mostrar justificativa para por que o nível/níveis do limiar para determinar resultados positivos vs. negativos foi/were apropriados.
Q.D.3. As evidências devem identificar e divulgar
- a. todas as configurações ajustáveis pelo usuário,
- b. se cada configuração afeta resultados positivos, e para todas as configurações que afetam resultados,
- c. seus graus de configurabilidade pelo usuário,
- d. seus valores padrão, e
- e. justificativa para por que tais valores padrão foram adequados.
Q.D.4. As evidências devem divulgar as configurações ajustáveis pelo usuário e combinações de configurações nas quais o impacto dispar foi testado.
Resultado positivo: não sendo sinalizado pelo sistema
Configurações ajustáveis pelo usuário que podem afetar o resultado positivo: N/A
Configurações nas quais o impacto disparo foi testado: N/A
Taxa de seleção ou taxa de pontuação Q.E.: Uma métrica correspondente à taxa de seleção ou taxa de pontuação será definida.
Q.E.1. Quando o método de taxa de seleção foi usado, as evidências devem mostrar que a taxa de seleção de um grupo foi definida como a proporção de resultado positivo para todos os resultados desse grupo.
Q.E.2. Quando o método de taxa de pontuação foi usado, as evidências devem mostrar que a taxa de pontuação de um grupo foi definida como a taxa na qual esse grupo recebe uma pontuação do AEDT acima da pontuação mediana da amostra
Método de quantificação do impacto disparo: taxa de seleção definida como a taxa na qual candidatos de um grupo demográfico não são sinalizados pelo sistema
Q.F. Grupos favorecidos, desfavorecidos: Grupos favorecidos e desfavorecidos serão definidos, para todos os PCVs.
Q.F.1. As evidências deverão mostrar que os grupos favorecidos e desfavorecidos foram definidos de acordo com taxas de seleção ou taxas de pontuação ordenadas pelo PCV.
Q.F.2. As evidências deverão mostrar que os grupos relacionados à raça e etnia satisfazem § 60-3.4 B nas diretrizes de EEO.
Q.F.3. Quando os grupos relacionados à raça e etnia não satisfizerem as diretrizes de EEO, as evidências deverão mostrar justificativa para o motivo pelo qual o agrupamento EEO não foi utilizado, e a adequação de quaisquer agrupamentos substitutos.
Q.F.4. As evidências deverão mostrar que os grupos relacionados ao gênero contêm pelo menos “Masculino” e “Feminino”.
Q.F.5. As evidências deverão mostrar grupos intersectionais contendo todas as permutações de combinações de gênero e raça/etnia.
Q.F.6. Quando raça/etnias e gêneros não forem conhecidos para uma amostra de candidatos avaliados pelo AEDT, as evidências deverão divulgar o tamanho da amostra.
Q.G. Relação de impacto: As relações de impacto devem ser divulgadas para todos os grupos desfavorecidos, para todos os PCVs.
Q.G.1. Quando uma relação de impacto para um grupo desfavorecido estiver abaixo de 0,8, as evidências devem mostrar justificativa para o motivo pelo qual o grupo desfavorecido está em desvantagem.
Q.G.2. As evidências devem mostrar resultados de análise de incerteza (por exemplo, erro padrão para a média) ou propagação de erro das relações de impacto na forma de erros ou barras de erro.
Q.G.3. Quando os dados do PCV foram inferidos, as evidências devem mostrar que os erros sistemáticos devido à inferência do PCV foram devidamente propagados nos cálculos da relação de impacto.
Q.G.4. Quando um grupo de gênero, raça/etnia ou interseccional foi excluído do cálculo da relação de impacto devido ao seu tamanho estar abaixo de 2% do tamanho total da amostra de cada análise, as evidências devem mostrar
justificativa para a exclusão de tal grupo
o tamanho da amostra de tal grupo, e
a taxa de seleção ou taxa de pontuação de tal grupo
Não interseccional, Gênero, ordenado por Relação de impacto
N candidatos
Taxa de seleção
Relação de impacto
Masculino
3.732
0.798
1.000
Feminino
2.112
0.784
0.982
Não interseccional, Raça/etnia, ordenado por Relação de impacto
N candidatos
Taxa de seleção
Relação de impacto
Hispânico ou Latino
1.127
0.860
1.000
Asiático
1.184
0.835
0.971
Branco
1.797
0.774
0.900
Negro ou Afro-americano
1.070
0.762
0.866
3
0.667
N/A
Interseccionais
Não-Hispânico ou Latino
Masculino
807
0.756
0.878
2
0.500
N/A
Feminino
807
0.756
0.878
1
1.000
N/A
Nota: Dados sobre esses candidatos não foram incluídos nos cálculos acima:
- 123 candidatos com uma categoria de gênero desconhecida
- 1053 candidatos com uma categoria de raça/etnia desconhecida, e
- 1176 candidatos com pelo menos uma categoria de gênero ou raça/etnia desconhecida
7 N/A refere-se ao grupo demográfico que representa menos de 2% do total de N candidaturas na tabela
Q.H. Significância estatística: Quando o método de taxa de seleção foi utilizado, o cálculo de significância estatística deve satisfazer UGESP diretrizes.
Q.H.1. As evidências devem mostrar que a significância estatística foi calculada usando o Teste Z Binomial de Duas Amostras Independentes para tamanhos de amostra de 30 ou mais, e usando o Teste Exato de Fisher para tamanhos de amostra menores que 30.
Governança
G.A. Parte responsável pelos riscos de impacto dispar: A parte auditada deve ter uma parte responsável pelos riscos relacionados ao impacto dispar.
- G.A.1. As evidências devem mostrar que a parte responsável é um comitê, mas também podem mostrar que a parte responsável é um indivíduo único.
- G.A.2. As evidências devem mostrar claramente que os riscos relacionados ao impacto dispar são de propriedade e gerenciados pela parte responsável.
Parte responsável: Comitê de Ferramentas de Decisão Automatizada
Informações de contato: rohan.raman@hackerrank.com
Papel na organização auditada: Grupo/comitê de governança
G.B. Deveres definidos da parte responsável: Deveres da parte responsável pelos riscos de impacto dispar devem ser claramente definidos.
- G.B.1. As evidências devem mostrar que tais deveres dizem respeito à propriedade, gestão e monitoramento dos riscos de impacto dispar.
- G.B.2. As evidências devem mostrar que a parte responsável tem influência sobre mudanças no produto conforme o desafio eficaz em Diretrizes Federais sobre Gestão de Risco de Modelos.
G.C. Documentação referente às tarefas realizadas: A parte auditada deve fornecer evidências de que as tarefas definidas da parte responsável pelos riscos de impacto dispar foram realizadas.
- G.C.1. As evidências devem mostrar que as tarefas definidas foram realizadas antes da data de início desta auditoria.
Avaliação de Risco
Conclusão da A.R.: O auditado deverá ter realizado uma avaliação de risco do modelo.
- R.A.1. Evidências deverão mostrar que uma avaliação de risco ou uma análise equivalente foi concluída há menos de um ano antes da data de emissão desta auditoria.
Evidência de conclusão da Avaliação de Risco: Documentos de Avaliação de Risco (planilha de avaliação de risco e notas narrativas), e testemunho verbal dos participantes da Avaliação de Risco.
R.B. Identificação de riscos: A avaliação de risco deverá mostrar a identificação de riscos relevantes relacionados a viés.
- R.B.1. Evidências deverão mostrar a identificação de riscos relacionados a vários vieses ao longo de todas as etapas do ciclo de vida da IA, conforme listado em Norma NIST para Identificação e Gestão de Vieses em Inteligência Artificial.
- R.B.2. Evidências deverão mostrar consciência das partes potencialmente afetadas pelas decisões tomadas ao longo de todas as etapas do ciclo de vida da IA.
Avaliação de riscos - R.C.: A avaliação de risco deverá demonstrar avaliação adequada dos riscos relevantes.
- R.C.1. Evidências deverão mostrar que os riscos identificados são avaliados sob as perspectivas de múltiplas partes interessadas externas e internas afetadas, com justificativas para a extensão e o mecanismo pelo qual tais riscos afetam essas partes interessadas.
- R.C.2. Evidências deverão mostrar que os riscos identificados são avaliados de maneira suficientemente rigorosa, usando um esquema de avaliação quantitativa e/ou qualitativa, e ao longo de múltiplas dimensões, como, mas não limitado a, probabilidade de dano e gravidade do dano.
- R.C.3. Evidências deverão mostrar justificativa para a avaliação de riscos fornecida.
Apêndice
Metodologia de Auditoria
A Auditoria de Processo
A estrutura de auditoria AI BABL é a Auditoria de Processo, definida como “um processo de verificação e avaliação imparcial conduzido por um auditor independente para determinar se há evidências suficientes para justificar o julgamento de que os riscos de IA foram prevenidos, detectados, mitigados ou de outra forma gerenciados.” Uma auditoria de processo é modelada após a prática de auditoria financeira como uma auditoria cooperativa de terceiros e é diferenciada de outras formas comumente usadas de avaliação de algoritmos, como avaliações de primeira ou segunda parte, e garantia.8 O quadro de auditoria contém três fases:
Definição de escopo – O auditor realiza uma pesquisa preliminar do algoritmo do auditado para obter uma compreensão completa para contextualizar as evidências documentais
Avaliação & Verificação – O auditado envia documentação contendo evidências que demonstram satisfação dos critérios de auditoria, que os auditores avaliam e verificam.
Certificação – Se o auditado for considerado apto nos critérios de auditoria, o auditor elabora o relatório do auditor e certifica o algoritmo do auditado.
Avaliação & Verificação
O procedimento para todos os auditores de IA BABL na realização de uma auditoria de processo segue as diretrizes estabelecidas na Norma de Auditoria 1105 do Conselho de Supervisão de Contabilidade de Empresas Públicas (PCAOB), quando aplicável. Especificamente, os auditores:
Obter reivindicações e declarações de auditoria a partir da documentação enviada pelo auditado que apoiam ou contradizem os critérios e subcritérios,
Avaliar as reivindicações e declarações em relação ao atendimento aos critérios e subcritérios, com base na suficiência e adequação das evidências, e
Verificar se as reivindicações e declarações feitas pelo auditado estão livres de declarações materiais incorretas, seja por fraude ou erro.9
8 Carrier, R., & Brown, S. (2021). Taxonomia: Auditoria de IA, Garantia & Avaliação. ForHumanity.
https://forhumanity.center/blog/taxonomy-ai-audit-assurance-assessment/
9 “Garantia razoável” é um alto nível de garantia, mas não uma garantia de que uma auditoria conduzida de acordo com boas práticas de auditoria sempre detecta uma declaração material incorreta quando ela existe. Declarações incorretas podem surgir de fraude ou erro e são consideradas materiais se, individualmente ou em conjunto, puderem razoavelmente influenciar as decisões das partes interessadas tomadas com base nessas declarações.
Além disso, a avaliação e verificação de alegações e declarações podem envolver solicitar evidências documentais adicionais de suporte, e/ou entrevistar os responsáveis pela governança do algoritmo, outros funcionários relevantes da organização auditada, ou terceiros referenciados na documentação submetida.
No final, os auditores chegam a uma opinião de auditoria com base em:
A suficiência e adequação das evidências de auditoria, e
O risco de declaração incorreta material das evidências de auditoria.
Terminologias & Definições
ferramenta de decisão de emprego automatizada
AEDT
“qualquer processo computacional, derivado de aprendizado de máquina, modelagem estatística, análise de dados ou inteligência artificial, que emite uma saída simplificada, incluindo uma pontuação, classificação ou recomendação, que é usada para ajudar substancialmente ou substituir a tomada de decisão discricionária para tomar decisões de emprego que impactam pessoas naturais.” – veja § 20-870 do Código e § 5-300 da regra adotada para definição completa
grupo desfavorecido
qualquer grupo de gênero ou raça/etnia que não possui a maior taxa de seleção ou pontuação média
impacto disparatado ou impacto adverso
“uma taxa de seleção para qualquer raça, sexo ou grupo étnico que seja inferior a quatro quintos (⁄) (ou 80%) da taxa do grupo com a maior taxa será geralmente considerada pelas agências de aplicação federal como evidência de impacto adverso” – veja § 60-3.4.D de UGESP (1978) para definição completa
propagação de erro
cálculo ou computação da incerteza de uma variável que depende da incerteza de outra variável
grupo favorecido
o grupo de gênero ou raça/etnia com maior taxa de seleção ou pontuação média em comparação com os outros grupos
índice de impacto
“ou (1) a taxa de seleção de uma categoria dividida pela taxa de seleção da categoria mais selecionada ou (2) a taxa de pontuação de uma categoria dividida pela taxa de pontuação da categoria com maior pontuação.” – veja § 5-300 do regra adotada para definição completa
taxa de pontuação
“a taxa na qual indivíduos em uma categoria recebem uma pontuação acima da pontuação mediana da amostra, onde a pontuação foi calculada por um AEDT”
justificativa
uma razão convincente que ilumina a questão e possui força normativa, ao contrário de apenas poder explicativo
resultado positivo
a base para a taxa de seleção, o resultado favorável para um candidato do uso do modelo, como ser selecionado para avançar no processo de contratação ou atribuído a uma classificação pelo modelo
variáveis de categoria protegida
definido por jurisdição, equivalente à classe protegida, incluindo mas não se limitando a: raça/etnia, idade, gênero, religião, capacidade ou deficiência, orientação sexual, cor, país de origem, classe socioeconômica
avaliação de risco
uma avaliação do risco de que o uso do algoritmo impacte negativamente os direitos e interesses das partes interessadas, com uma identificação correspondente de situações do contexto e/ou características do algoritmo que dão origem ou contribuem para esses impactos negativos9
taxa de seleção
“a taxa na qual indivíduos em uma categoria são selecionados para avançar no processo de contratação ou atribuídos a uma classificação por um AEDT” – veja § 5-300 da regra adotada para definição completa
conjunto de dados de teste
o conjunto de dados usado para testar ou quantificar impacto disparatado
análise de incerteza
cálculo ou computação para quantificar a incerteza de uma variável, fornecendo erros ou barras de erro
10 Hasan, A., Brown, S., Davidovic, J., Lange, B., & Regan, M. (2022). Viés algorítmico e risco Avaliações: Lições da prática. Sociedade Digital, 1(1). https://doi.org/10.1007/s44206-022-00017-z