Perguntas de Engenharia de Prompt

As perguntas de engenharia de prompt avaliam a capacidade de um candidato de escrever instruções estruturadas que orientam os sistemas de IA a gerar resultados precisos e confiáveis.

Para usar perguntas de engenharia de prompt, selecione-as da HackerRank Library ao criar um teste ou entrevista.

Avaliação de perguntas de engenharia de prompt

As perguntas de engenharia de prompt são avaliadas automaticamente usando casos de teste pré-configurados. Cada caso compara a saída do modelo com a saída esperada usando correspondência de texto exata.

Lógica de pontuação

Quando os candidatos clicam em Executar prompt, o sistema usa um modelo de pontuação rigoroso de Aprovado ou Reprovado baseado na comparação de texto. O sistema avalia a resposta contra um conjunto de casos de teste pré-configurados.

Para cada caso de teste:

  • O sistema compara a saída do modelo com a saída esperada.

  • A comparação requer uma correspondência exata, incluindo caracteres, maiúsculas e minúsculas, pontuação, acentos, espaçamento e ordem das palavras.

  • Qualquer desvio, como palavras extras, explicações, blocos de código ou formatação, resulta em Falha.

  • Prompts não determinísticos podem produzir saídas inconsistentes, que também resultam em falha.

  • O resultado para cada caso é Sucesso ou Falha.
    Por exemplo:

    • Esperado: Merci

    • Saída: Merci!

    • Resultado: Falha (pontuação extra)

O sistema calcula a pontuação final como:

Pontuação final = Peso por caso de teste × Status do caso de teste

Dicas:

  • Torne as saídas determinísticas e com formato fixo.

  • Retorne apenas a saída solicitada.

  • Espelhe exatamente maiúsculas e minúsculas, pontuação, acentos, espaçamento e ordem.

Perguntas Frequentes

Um caso de teste pode receber crédito parcial?

Não. O sistema pontua cada caso de teste como Aprovado ou Reprovado. Não atribui crédito parcial.

Espaços e quebras de linha afetam a pontuação?

Sim. O espaçamento e as quebras de linha devem corresponder exatamente à saída esperada, a menos que especificado de outra forma.