Tworzenie pytania RAG (Retrieval Augmented Generation)

HackerRank Projects for RAG umożliwia tworzenie pytań opartych na rzeczywistych projektach, aby ocenić zdolność kandydatów do implementacji systemów Retrieval-Augmented Generation (RAG). Ta funkcja pomaga zidentyfikować kandydatów z silnymi umiejętnościami w zakresie wyszukiwania odpowiednich informacji, integracji ich z modelami AI generatywnej oraz optymalizacji dokładności odpowiedzi.

Dzięki tej funkcji możesz korzystać z wstępnie zdefiniowanych ocen RAG, które oceniają kluczowe umiejętności takie jak:

• Wyszukiwanie danych i indeksowanie (np. za pomocą baz danych wektorowych)

• Dopasowywanie

• Ocena wygenerowanych wyników

Dodatkowo możesz tworzyć własne pytania oparte na RAG, dostosowując je do oceny kandydatów w zakresie konkretnych technik wyszukiwania, augmentacji i generowania odpowiedzi istotnych dla Twojego przypadku użycia.

Kroki tworzenia pytania RAG

• Kliknij na zakładkę Biblioteka na stronie głównej i kliknij przycisk Utwórz pytanie.

• W oknie dialogowym Wybierz typ pytania, pod Projekty, wybierz Generative AI, jak pokazano poniżej.

Krok 1: Środowisko

• W zakładce Środowisko możesz wybrać RAG. Możesz najechać na ikonę informacji, aby uzyskać więcej informacji.

• Kliknij przycisk Dalej, aby przejść do kolejnych kroków.  

Krok 2: Konfiguracja projektu

Istnieją trzy kroki w konfiguracji projektu: 

Wybierz projekt

Po załadowaniu IDE, możesz skonfigurować swój projekt pytania, korzystając z jednej z następujących opcji:

1. Przesyłanie Zip: Ta opcja pozwala na utworzenie pytania poprzez przesłanie pliku projektu w formacie ZIP. Rozmiar pliku może wynosić do 5MB.  

2. Klon z Github: Ta opcja pozwala na sklonowanie projektu z prywatnego lub publicznego repozytorium Git. Po wybraniu opcji Git, musisz podać link do źródła repozytorium. Jeśli repozytorium jest prywatne, IDE będzie potrzebowało uprawnień do połączenia się z nim za pomocą tokena jednorazowego. Nie zapisujemy Twoich danych logowania do GitHub w naszym systemie w żadnym momencie.

3. Użyj przykładowego projektu: Gdy wybierzesz tę opcję, do IDE zostanie dodane domyślne pytanie przykładowego projektu. Możesz użyć tego przykładowego projektu do zbudowania swojego pytania.

Konfiguracja IDE i źródła danych

Podczas konfigurowania Pytania opartego na wyszukiwaniu i generowaniu (RAG), musisz zdefiniować źródło danych, z którego model może pobierać informacje. Możesz wybrać spośród:

• Przechowywanie na podstawie plików

• Przechowywanie w bazie danych (DB)

Przesyłanie plików jako źródła danych

Platforma pozwala na przesyłanie i zarządzanie plikami danych bezpośrednio przez interfejs użytkownika. Pliki te będą dostępne w IDE do dalszej edycji i przetwarzania.

• Opcja 1: Odwołanie do istniejącej ścieżki pliku w Twoim projekcie. System wyświetli liczbę tokenów i limit rozmiaru.

• Opcja 2: Oddzielne przesłanie nowego pliku danych przez interfejs użytkownika. Plik będzie przechowywany w S3 lub IDE (zgodnie z ustaleniami deweloperskimi).

Limity rozmiaru pliku:

• Maksymalny rozmiar pliku: 500MB (lub w zależności od limitów tokenów).

• Pliki nie tekstowe: obowiązuje tylko limit rozmiaru.

• Przesłane pliki będą przechowywane w dedykowanym folderze "dane" i dodane do .gitignore, aby zapobiec niepotrzebnemu śledzeniu wersji.

Obliczanie tokenów i ostrzeżenia:

• Po przesłaniu pliku wyświetli się liczba tokenów i powiązane ograniczenia.

• Jeśli limit tokenów zostanie przekroczony, może zostać nałożone ograniczenie szybkości ze względu na większe osadzenia.

Używanie bazy danych jako źródła danych

Możesz przesłać dane strukturalne jako pliki .db lub .sql do przechowywania w bazie danych. Umożliwia to efektywne zarządzanie i zapytania do danych w ramach projektu.

• Prześlij bezpośrednio plik .db lub .sql.

• Obowiązują te same ograniczenia co przesyłanie plików (rozmiar i limity tokenów).

• Duże osadzenia baz danych mogą wywołać limity szybkości.

Ograniczenia i warunki źródeł danych

• Limit zapytań: 30 zapytań na minutę

• Limity tokenów:

  • Standardowy limit: 3 000 tokenów na minutę

  • Model osadzeń: 30 000 tokenów na minutę

• Równoległe zapytania: do 5 jednoczesnych zapytań

Konfiguracja wydajnego źródła danych zapewnia, że Twój model RAG działa optymalnie, pozostając w tych limitach.

Konfiguracja IDE

• Podczas tworzenia projektu użytkownik może skonfigurować, jakie polecenie zostanie uruchomione po kliknięciu określonych elementów menu w IDE. Instalacja jest jednym z takich poleceń.

• Tutaj możesz skonfigurować IDE, aby uruchamiało określone polecenia, które powinny być wywoływane dla projektu po kliknięciu przycisku. To polecenie będzie zachowane dla kandydatów, tzn. kandydaci będą widzieć to samo wykonanie polecenia, gdy będą korzystać z pytania.

• To samo dotyczy Uruchom i Testuj.

Domyślne otwarte pliki

• Możesz ustawić, które pliki w projekcie powinny być domyślnie otwarte dla kandydatów podczas pracy nad projektem.

• Możesz określić wiele plików w tym zakresie, a wszystkie wskazane pliki będą otwarte w IDE.

Pliki tylko do odczytu

• Twórcy pytań mogą ustawić pliki tylko do odczytu w projekcie, których kandydaci nie powinni edytować. Mogą to być pliki z testami lub pliki readme. Wprowadź ścieżkę do tych plików tutaj.

Ustawienia punktacji

• Masz możliwość wyboru między automatycznym ocenianiem a brakiem takiego. Wybierz Tak lub Nie w zależności od preferencji. 

• Jeśli włączysz automatyczne ocenianie, HackerRank ocenia rozwiązanie kandydata na podstawie statusu zaliczenia lub niezaliczenia wyników testów jednostkowych generowanych w pliku XML. Polecenie oceniania powinno generować plik XML z testami w formacie Junit, XUnit lub TAP. Podaj unikalne nazwy, jeśli masz wiele plików XML, które mają być użyte. Pliki XML są analizowane w celu wygenerowania listy testów i przyznania wyniku kandydatowi. Wszystkie testy domyślnie mają równą wagę.

• Zdefiniuj polecenie oceniania: Polecenie oceniania powinno generować plik XML z wynikami testów. 

• Wyjściowy plik ustawień oceniania: Podaj listę ścieżek do plików XML, które są generowane po wykonaniu 'polecenia oceniania'. HackerRank wykonuje polecenie oceniania, aby wygenerować wynik, wyszukuje te pliki wyjściowe oceniania i je analizuje. Jeśli nie podano żadnych plików, zostanie użyty wynik polecenia oceniania do oceniania; dla wielu plików XML podaj unikalne nazwy.

• Ukryte pliki: W tym ustawieniu możesz podać listę plików testowych ukrytych przed kandydatem podczas rozwiązywania zadania. Jednak te ukryte testy nadal będą generować wynik kandydata po przesłaniu rozwiązania.

Walidacja

• Jeśli walidacja się nie powiedzie, użyj informacji, które dostarcza wynik walidacji, aby naprawić projekt.

• Załóżmy, że walidacja nie powiedzie się na etapie uruchomienia po utworzeniu serwera (np. walidacje polecenia oceniania). W takim przypadku otrzymasz dodatkowy link o nazwie 'otwórz konsolę debugowania'. Możesz otworzyć serwer i debugować polecenie oceniania w środowisku na żywo. Konsola debugowania jest dostępna przez 30 minut, a zmiany wprowadzone tutaj nie są zapisywane do oryginalnego projektu.

• Jeśli edytowałeś pytanie typu Full Stack, modyfikując istniejące pliki, możesz 'zresetować do ostatniej zatwierdzonej wersji', co zresetuje strukturę plików do ostatniego poprawnego stanu. Podobnie, możesz 'Pobierz ostatnią zapisaną strukturę folderów.'

Wskaźnik sieci

Możesz monitorować wskaźnik sieci w IDE, aby upewnić się, że nie napotkasz żadnych problemów podczas tworzenia pytania do projektu. 

Wskaźnik Domen Zablokowanych

Jeśli Twój projekt zawiera jakiekolwiek domeny na czarnej liście, IDE poinformuje Cię o tym.

Możesz kliknąć na Wyświetl Zablokowane Domeny, aby sprawdzić adresy URL domen. 

Krok 3: Szczegóły pytania

Na karcie Szczegóły pytania określ następujące:

• Nazwa pytania: Nazwij swoje pytanie i upewnij się, że nazwa pytania nie sugeruje rozwiązania problemu. 

• Punkty: Chociaż możesz przypisać dowolną liczbę punktów do pytań, które tworzysz, używamy określonych standardów do przypisywania punktów przydatnym pytaniom.

• Tagi (Opcjonalne): Tagi to słowa lub frazy, które pomagają w wyszukiwalności i organizacji Twoich pytań. Możesz dodać istniejące tagi lub utworzyć nowe. Ustaw poziom trudności dla swojego pytania, łącząc tagi jako Łatwe, Średnie lub Trudne. Alternatywnie, przypisz niestandardowe tagi, aby zidentyfikować swoje pytanie według złożoności lub poziomu. Wybierz tagi z listy rozwijanej lub dodaj własny niestandardowy tag. 

• Gdy przeglądasz swoje pytania w Bibliotece, dla każdego pytania będą wskazane powiązane tagi. Możesz użyć tych tagów do generowania raportów kandydatów i wykresów wydajności. Zobacz Przypisywanie Tagów do Pytania po więcej informacji. 

• Opis problemu: Podczas opisywania problemu upewnij się, że pytanie jest jasne i szczegółowe. Możesz również użyć tabel, wykresów lub załączników, aby zwiększyć przejrzystość.

• Instrukcje dotyczące oprogramowania: To opcjonalne pole zawiera informacje o pakietach i wersjach oprogramowania potrzebnych do rozwiązania pytania. Jeśli zostanie puste, zostaną użyte domyślne instrukcje platformy.

• Wytyczne dla rozmówcy: Wytyczne dla rozmówcy są przeznaczone do późniejszego odniesienia. Możesz dołączyć kryteria oceny pytań lub napisać rozwiązania problemów w tej sekcji. Twój zespół może korzystać z nich podczas oceny testu. Są widoczne tylko dla Twojego zespołu i Ciebie; kandydaci nie mogą ich zobaczyć. Ten krok jest opcjonalny.

• Dołączenie odpowiedniego pliku referencyjnego w tych sekcjach może wspierać Twoje opis problemu i wytyczne dla rozmówcy. Po więcej informacji, zobacz Dołącz plik do problemu.

Możesz sprawdzić podgląd kandydata po ukończeniu tworzenia pytania, aby zrozumieć, jak pytanie jest prezentowane w teście.