RAG (Retrieval Augmented Generation) 질문 만들기

HackerRank Projects for RAG는 실제 세계 기반의 질문을 만들어 후보자의 Retrieval-Augmented Generation (RAG) 시스템 구현 능력을 평가할 수 있게 해줍니다. 이 기능은 관련 정보를 검색하고, 이를 생성 AI 모델과 통합하며, 응답 정확도를 최적화하는 강력한 기술을 가진 후보자를 식별하는 데 도움을 줍니다.

이 기능을 통해 다음과 같은 핵심 기술을 평가하는 사전 정의된 RAG 평가를 사용할 수 있습니다:

• 데이터 검색 및 인덱싱 (예: 벡터 데이터베이스 사용)

• 파인튜닝

• 생성된 출력 평가

또한, 특정 검색, 증강 및 응답 생성 기술에 대해 후보자를 평가하도록 맞춤형 RAG 기반 질문을 만들 수 있습니다.

RAG 질문 생성 단계

• 홈 페이지의 라이브러리 탭을 클릭하고 질문 생성 버튼을 클릭하세요.

• 질문 유형 선택 대화 상자에서 프로젝트 아래에 있는 생성 AI를 선택하세요, 아래와 같이 보여집니다.

1단계: 환경

• 환경 탭에서 RAG를 선택할 수 있습니다. 더 많은 정보를 위해 정보 아이콘 위에 마우스를 올리세요.

• 다음 단계로 이동하려면 다음 버튼을 클릭하세요.

2단계: 프로젝트 설정

프로젝트 설정에는 세 단계가 있습니다:

프로젝트 선택

IDE가 로드되면 다음 옵션 중 하나를 사용하여 질문 프로젝트를 설정할 수 있습니다:

1. Zip 업로드: 이 옵션을 사용하면 ZIP 형식의 프로젝트 파일을 업로드하여 질문을 생성할 수 있습니다. 파일 크기는 최대 5MB입니다.  

2. Github에서 클론: 이 옵션은 개인 또는 공개 Git 저장소에서 프로젝트를 클론할 수 있게 해줍니다. Git 옵션을 선택한 후에는 저장소 소스에 대한 링크를 제공해야 합니다. 저장소가 비공개인 경우, IDE는 일회성 토큰을 사용하여 연결 권한이 필요합니다. 우리는 시스템에 GitHub 자격 증명을 저장하지 않습니다.

3. 샘플 프로젝트 사용: 이 옵션을 선택하면 기본 샘플 프로젝트 질문이 IDE에 추가됩니다. 이 샘플 프로젝트를 사용하여 질문을 만들 수 있습니다.

IDE 및 데이터 소스 설정

검색 증강 생성(RAG) 질문을 설정할 때, 모델이 정보를 검색할 수 있는 데이터 소스를 정의해야 합니다. 선택할 수 있는 옵션은 다음과 같습니다:

• 파일 기반 저장소

• 데이터베이스(DB) 저장소

파일을 데이터 소스로 업로드하기

플랫폼은 데이터 파일을 업로드하고 관리할 수 있도록 UI를 통해 제공합니다. 이 파일들은 추가 편집 및 처리를 위해 IDE에서 액세스할 수 있습니다.

• 옵션 1: 프로젝트 내 기존 파일 경로를 참조하세요. 시스템은 토큰 수와 크기 제한을 표시합니다.

• 옵션 2: UI를 통해 새 데이터 파일을 별도로 업로드하세요. 파일은 S3 또는 IDE에 저장됩니다 (개발에 따라 결정됨).

파일 크기 제한:

• 최대 파일 크기: 500MB (또는 토큰 제한에 따라 다름).

• 비텍스트 파일: 크기 제한만 적용됩니다.

• 업로드된 파일은 전용 "data" 폴더에 저장되며, 불필요한 버전 관리 추적을 방지하기 위해 .gitignore에 추가됩니다.

토큰 계산 및 경고:

• 파일 업로드 후, 토큰 수와 관련 제한이 표시됩니다.

• 토큰 제한을 초과하면, 더 큰 임베딩으로 인해 속도 제한이 적용될 수 있습니다.

데이터베이스를 데이터 소스로 사용하기

구조화된 데이터를 .db 또는 .sql 파일로 업로드하여 데이터베이스 기반 저장이 가능합니다. 이를 통해 프로젝트 내에서 데이터를 효율적으로 관리하고 쿼리할 수 있습니다.

• 직접 .db 또는 .sql 파일을 업로드하세요.

• 파일 업로드와 동일한 제약 조건(크기 및 토큰 제한)이 적용됩니다.

• 대형 데이터베이스 임베딩은 속도 제한을 유발할 수 있습니다.

데이터 소스 제한 및 제약 조건

• 요청 제한: 1분에 30 요청

• 토큰 제한:

  • 표준 제한: 1분에 3,000 토큰

  • 임베딩 모델: 1분에 30,000 토큰

• 병렬 요청: 최대 5개의 동시 요청

효율적인 데이터 소스를 설정하면 RAG 모델이 최적의 성능을 발휘하면서 이러한 제한 내에서 작동할 수 있습니다.

IDE 설정 

• 프로젝트를 구축할 때, 사용자는 특정 메뉴 항목을 클릭할 때 실행될 명령어를 구성할 수 있습니다. 설치는 그 중 하나의 명령어입니다.

• 여기서, IDE가 프로젝트에 대해 트리거되어야 하는 특정 명령어를 실행하도록 구성할 수 있습니다. 이 명령어는 후보자에게 유지되며, 즉 후보자는 질문을 사용할 때 동일한 명령어 실행을 보게 됩니다.

• 이것은 실행 및 테스트에도 동일하게 적용됩니다.

기본 열기 파일 

• 후보자가 프로젝트 작업 시 기본적으로 열어야 하는 파일을 설정할 수 있습니다.

• 여러 파일을 지정할 수 있으며, 지정된 모든 파일이 IDE에서 열립니다.

읽기 전용 파일

• 질문 작성자는 후보자가 편집하지 않아야 하는 읽기 전용 파일을 프로젝트에 설정할 수 있습니다. 이는 테스트 케이스 파일 또는 읽기 전용 파일일 수 있습니다. 이 파일들의 경로를 여기에 지정하세요.

채점 설정 

• 자동 채점 여부를 선택할 수 있는 옵션이 제공됩니다. 선호도에 따라 예 또는 아니오를 선택하세요. 

• 자동 채점 활성화 시, HackerRank는 XML 파일에 생성된 유닛 테스트 결과의 통과 및 실패 상태를 기반으로 후보자의 해결책을 채점합니다. 채점 명령은 Junit, XUnit 또는 TAP 형식의 테스트 케이스가 포함된 XML 파일을 생성해야 합니다. 여러 XML 파일을 사용하는 경우 고유한 이름을 제공하세요. XML 파일은 파싱되어 테스트 케이스 목록을 생성하고 후보자에게 점수를 부여합니다. 모든 테스트 케이스는 기본적으로 동일한 가중치를 부여받습니다.

• 채점 명령 정의: 채점 명령은 테스트 케이스 결과가 포함된 XML 파일을 생성해야 합니다. 

• 채점 출력 파일 설정: '채점 명령'이 실행될 때 생성된 XML 파일 경로 목록을 제공하세요. HackerRank는 채점 명령을 실행하여 점수를 생성하고, 이 출력 파일들을 검색하여 파싱합니다. 파일이 나열되지 않은 경우, 채점 명령의 출력이 채점에 사용됩니다; 여러 XML 파일의 경우 고유한 이름을 제공하세요.

• 숨김 파일: 이 설정에서는 후보자가 문제를 해결하는 동안 숨길 테스트 케이스 파일 목록을 제공할 수 있습니다. 그러나 이 숨김 테스트 케이스들은 후보자가 해결책을 제출하면 여전히 후보자의 점수를 생성합니다.

검증

• 검증이 실패하면, 검증 결과가 제공하는 정보를 사용하여 프로젝트를 수정하세요.

• 서버가 생성된 후 단계별로 검증이 실패하는 경우(예: 채점 명령 검증), '디버그 콘솔 열기'라는 추가 링크를 받게 됩니다. 서버를 열고 실시간 환경에서 채점 명령을 디버깅할 수 있습니다. 디버그 콘솔은 30분 동안 사용할 수 있으며, 여기서 수행된 변경 사항은 원래 프로젝트에 저장되지 않습니다.

• 기존 파일을 수정하는 전체 스택 질문을 편집하는 경우, '마지막 검증된 버전으로 재설정'을 선택하여 파일 구조를 마지막 유효한 상태로 재설정할 수 있습니다. 유사하게, '마지막 저장된 폴더 구조 다운로드'도 가능합니다.

네트워크 지표

IDE 내에서 네트워크 지표를 모니터링하여 프로젝트 질문을 생성하는 동안 문제가 발생하지 않도록 할 수 있습니다. 

차단된 도메인 지표

프로젝트에 블랙리스트 도메인이 있는 경우 IDE가 이를 알려줍니다.

차단된 도메인 보기를 클릭하여 도메인 URL을 확인할 수 있습니다. 

3단계: 질문 세부 정보

질문 세부 정보 탭에서 다음을 지정하세요:

• 질문 이름: 질문 이름을 지정하고 질문 이름이 문제 해결책을 암시하지 않도록 하세요. 

• 점수: 생성하는 질문에 원하는 점수를 부여할 수 있지만, 유용한 질문에 점수를 부여하기 위해 특정 기준을 사용합니다.

• 태그 (선택 사항): 태그는 질문의 검색 가능성과 조직에 도움이 되는 단어나 구문입니다. 기존 태그를 추가하거나 새 태그를 만들 수 있습니다. 태그를 관련성 높음, 중간, 어려움으로 연결하여 질문의 난이도 수준을 설정하세요. 또는 사용자 지정 태그를 연결하여 복잡성 또는 수준별로 질문을 식별할 수 있습니다. 드롭다운 목록에서 태그를 선택하거나 사용자 지정 태그를 추가하세요. 

• 라이브러리에서 질문을 볼 때, 관련 태그가 모든 질문에 표시됩니다. 이러한 태그를 사용하여 후보자 보고서 및 성과 그래프를 생성할 수 있습니다. 자세한 내용은 질문에 태그 연결하기를 참조하세요. 

• 문제 설명: 문제 설명을 할 때, 질문이 명확하고 상세한지 확인하세요. 표, 그래프 또는 첨부 파일을 사용하여 명확성을 높일 수도 있습니다.

• 소프트웨어 지침: 이 선택적 필드에는 문제 해결에 필요한 패키지 및 소프트웨어 버전 정보가 포함됩니다. 비워두면 기본 플랫폼 지침이 사용됩니다.

• 면접관 가이드라인: 면접관 가이드라인은 나중에 참고하기 위해 사용됩니다. 질문 채점 기준에 대한 루브릭을 포함하거나 이 섹션에 문제 해결 방법을 작성할 수 있습니다. 팀은 이를 평가할 때 사용할 수 있습니다. 이 내용은 귀하의 팀과 귀하만 볼 수 있으며, 지원자는 볼 수 없습니다. 이 단계는 선택 사항입니다.

• 이 섹션에 관련 참조 파일을 첨부하면 문제 설명과 면접관 가이드라인을 지원할 수 있습니다. 자세한 내용은 문제에 파일 첨부하기를 참조하세요.

질문 생성 완료 후 후보자 미리보기를 확인하여 테스트에서 질문이 어떻게 표시되는지 이해할 수 있습니다.