Resumo dos Resultados da Auditoria de Viés (Sistema de Análise de Imagens do HackerRank)
Last updated: December 12, 2024
Carta do Auditor Líder
De: Shea Brown
Auditor Líder
BABL AI Inc.
sheabrown@babl.ai
Para: Interviewstreet Incorporation (HackerRank)
PO Box 1660
211 Hope Street
Mountain View, Califórnia 94041
Re: Opinião de Auditoria sobre o Sistema de Análise de Imagens do HackerRank 22/07/2024
Realizamos uma auditoria independente das afirmações de testes de viés e das evidências documentais relacionadas do HackerRank (a "Empresa") até 22/07/2024, apresentadas à BABL AI em relação ao Sistema de Análise de Imagens da Empresa, de acordo com os critérios e metodologia de auditoria estabelecidos neste relatório. Os objetivos desta auditoria são:
Determinar se as metodologias, controles e procedimentos de teste de viés realizados pela Empresa satisfazem os critérios de auditoria (ver Constatações)
Obter garantia razoável quanto à veracidade das declarações feitas pela Empresa, incluindo o resumo dos resultados de testes de viés apresentados neste relatório, livres de declarações materialmente incorretas, seja por fraude ou erro.
Observe que os critérios apresentados neste relatório foram construídos especificamente para atender aos requisitos de uma “auditoria de viés” delineada na Lei Local de NYC nº 144 de 2021. O modelo foi auditado como se fosse uma ferramenta automatizada de decisão de emprego (AEDT) sob a Lei Local de NYC nº 144 de 2021, mas não fazemos nenhuma determinação se o modelo é, de fato, uma AEDT sob esta lei.
Responsabilidades da Empresa
É responsabilidade dos representantes da Empresa garantir que os testes de viés e procedimentos relacionados estejam em conformidade com os critérios delineados neste relatório. Os representantes da Empresa são responsáveis por garantir que os documentos apresentados sejam apresentados de forma justa e sem distorções, fornecendo todos os recursos e pessoal necessários para garantir um processo de auditoria eficaz e eficiente, e fornecendo acesso ao material probatório conforme solicitado pelos auditores.
Responsabilidades da BABL AI
É responsabilidade do auditor líder expressar uma opinião sobre as afirmações da Empresa relacionadas ao teste de viés do modelo. À luz da atual ausência de padrões geralmente aceitos para auditoria de algoritmos e sistemas autônomos, nossa análise foi conduzida de acordo com os padrões e referências normativas delineados neste relatório.
Esses padrões exigem que planejemos e executemos procedimentos de auditoria para obter garantia razoável de que as afirmações acima 1) satisfazem os critérios de auditoria e 2) estão livres de declarações materialmente incorretas, seja por erro ou fraude. Dentro do escopo do nosso compromisso, realizamos, entre outros, os seguintes procedimentos:
Inspeção de documentos submetidos e documentação externa
Entrevistas com funcionários da Empresa para entender o processo de
determinação do impacto dispare e resultados de avaliação de risco
Observação de procedimentos analíticos selecionados utilizados nos testes de viés da Empresa
Inspeção de amostras selecionadas dos dados de teste de viés
Inquérito ao pessoal responsável pela governança e supervisão do teste de viés e
avaliação de risco
Acreditamos que os procedimentos realizados fornecem uma base razoável para nossa opinião.
Independência
Nossa função como auditor independente está em conformidade com as definições de Independência do ForHumanity e Sarbanes-Oxley. As taxas associadas a este contrato são pela prestação do serviço de avaliar a conformidade. O pagamento das taxas não está relacionado à decisão emitida. Nossa decisão é fundamentada exclusivamente nos critérios apresentados abaixo.
Opinião
Na nossa opinião, com base nos procedimentos realizados e nas evidências recebidas para obter garantia, o teste de viés e os resultados apresentados pela Empresa, até 22/07/2024, estão preparados, em todos os aspectos materiais, de acordo com os critérios delineados abaixo.
Atenciosamente,
Shea Brown, Ph.D.
Auditor Líder, BABL AI Inc.
Ênfase na Matéria
Enfatizamos várias questões relacionadas ao conjunto de dados fornecido pelo HackerRank para testar impacto dispare: 1) etiquetas demográficas auto-declaradas não estavam disponíveis do uso histórico do sistema, portanto, dados de “Teste” disponíveis publicamente, (ver § 5-300), foram utilizados para avaliar o sistema quanto a viés, e 2) a quantidade e qualidade do conjunto de dados de teste (ver Constatações) foram limitadas. Consequentemente, as conclusões derivadas da quantificação do impacto dispare estão sujeitas às limitações decorrentes do conjunto de dados e devem ser interpretadas à luz dessa restrição. Nossa opinião não é modificada em relação a esta questão.
Descrição do Sistema
A BABL AI foi contratada para auditar o Sistema de Análise de Imagens do HackerRank (o sistema). O sistema captura periodicamente várias imagens de webcam de candidatos a emprego durante uma avaliação, e as processa para detectar supostas atividades suspeitas dos candidatos, como esconder-se ou obter ajuda não autorizada de outros. Para uma sessão de avaliação, o sistema possui três modos de detecção:
- No-face: zero rosto é detectado em 90% das imagens capturadas;
- Multi-face: duas ou mais faces são detectadas em pelo menos uma das imagens capturadas; e
- Secondary-face: duas ou mais faces únicas são detectadas em vários momentos durante a sessão.
O sistema fornece um relatório desses modos de detecção e exibe-o aos usuários. Recrutadores e gerentes de contratação podem então revisar as imagens capturadas para verificar a presença de trapaça, e decidir se avançam um candidato.
As taxas de candidatos não sinalizados pelo sistema devem ser usadas como taxas de seleção para candidatos que pertencem a vários grupos demográficos. Observe que as taxas de seleção apenas do modo de detecção sem rosto são exibidas na p. 14 na seção Constatações, pois o modo de detecção sem rosto é o modo primário do sistema e sua taxa de não sinalização é equivalente à do nível do sistema.
Resumo da Auditoria
Contexto
A Lei Local de Nova York nº 144 de 2021 exige auditorias anuais de “viés” para ferramentas automatizadas de decisão de emprego (AEDTs) usadas para auxiliar ou substituir decisões na contratação ou promoção. Especificamente, a lei afirma que (1) a auditoria de viés deve “avaliar o impacto dispare” dos AEDTs em certas pessoas, (2) a auditoria deve ser conduzida por um “auditor independente ... não mais de um ano antes do uso”, e (3) um “resumo dos resultados da auditoria de viés mais recente ... [deve ser] disponibilizado publicamente no site do empregador ou agência de emprego.” A auditoria descrita neste documento foi conduzida para satisfazer apenas o requisito de uma auditoria de viés da lei, e não inclui outros requisitos, como notificações aos candidatos. Este relatório não faz nenhuma determinação se o modelo sob esta auditoria é, de fato, uma ferramenta automatizada de decisão de emprego conforme definido na Lei Local de NYC nº 144, ou não.
Responsabilidades do Auditor
É responsabilidade dos auditores da BABL AI:
Obter garantia razoável quanto à veracidade das declarações feitas pelo auditado, seja por fraude ou erro,
Determinar se as declarações feitas pelo auditado fornecem evidências suficientes de que os critérios de auditoria (ver Constatações) foram atendidos, e
Emitir um relatório de auditoria que inclua uma opinião.
Como parte de uma auditoria de acordo com boas práticas de auditoria, a BABL AI exerce julgamento profissional e mantém ceticismo profissional durante toda a auditoria. Especificamente, os auditores da BABL AI identificam e avaliam os riscos de declarações materialmente incorretas nos documentos fornecidos pelo auditado, realizam procedimentos de auditoria responsivos a esses riscos, e obtêm evidências de auditoria que sejam suficientes e apropriadas para fundamentar nossa opinião, conforme a Norma de Auditoria 1105 do Conselho de Supervisão de Contabilidade de Empresas Públicas (PCAOB) sobre Evidência de Auditoria,1 quando aplicável. Além disso, este relatório de auditoria segue as diretrizes da Norma Internacional de Compromissos de Garantia (ISAE) 3000 sobre Relatórios de Garantia, quando aplicável.
A BABL AI também é responsável por manter a independência e objetividade dos auditores para garantir a integridade da opinião e certificação fornecidas. A BABL AI como organização, e todos os auditores empregados e contratados, aderem a uma rigorosa independência conforme codificado pela Lei Sarbanes–Oxley de 2002 e pelo Código de Ética do ForHumanity.4 Além disso, os Auditores Líderes da BABL AI são Auditores Certificados pelo ForHumanity sob a Auditoria de Viés de NYC AEDT.5 Para mais detalhes sobre nossa metodologia e processo, consulte o Apêndice – Metodologia de Auditoria.
Escopo & Objetivo
Fora do Escopo
O auditoria não garantiu testes suficientes do impacto dispare do ferramenta em qualquer outra classe protegida além de raça/etnia e gênero
A auditoria não certificou que o modelo seja “livre de viés”
A auditoria não é destinada a fins de conformidade para qualquer legislação além da Lei Local de NYC nº 144