Eine RAG (Retrieval Augmented Generation) Frage erstellen

HackerRank Projects for RAG ermöglicht es Ihnen, realistische, projektbasierte Fragen zu erstellen, um die Fähigkeit der Kandidaten zur Implementierung von Retrieval-Augmented Generation (RAG)-Systemen zu bewerten. Diese Funktion hilft Ihnen, Kandidaten mit starken Fähigkeiten im Abrufen relevanter Informationen, der Integration dieser mit generativen KI-Modellen und der Optimierung der Antwortgenauigkeit zu identifizieren.

Mit dieser Funktion können Sie vordefinierte RAG-Bewertungen verwenden, die wichtige Fähigkeiten wie:

• Datenabruf und Indexierung (z.B. mit Vektordatenbanken)

• Feinabstimmung

• Bewertung der generierten Ausgaben

Zusätzlich können Sie benutzerdefinierte RAG-basierte Fragen erstellen, die auf bestimmte Abruf-, Augmentierungs- und Antwortgenerierungstechniken zugeschnitten sind, die für Ihren Anwendungsfall relevant sind.

Schritte zum Erstellen einer RAG-Frage

• Klicken Sie auf die Registerkarte Bibliothek auf der Startseite und klicken Sie auf die Schaltfläche Frage erstellen.

• Wählen Sie im Dialogfeld Frageart auswählen unter Projekte Generative KI, wie unten gezeigt.

Schritt 1: Umgebung

• Im Tab Umgebung können Sie RAG auswählen. Sie können mit der Info-Symbol für weitere Informationen hoveren.

• Klicken Sie auf die Schaltfläche Weiter, um zu den nächsten Schritten zu gelangen.

Schritt 2: Projektsetup

Es gibt drei Schritte bei der Einrichtung eines Projekts:

Projekt auswählen

Sobald die IDE geladen ist, können Sie Ihr Frageprojekt mit einer der folgenden Optionen einrichten:

1. Zip hochladen: Diese Option ermöglicht es Ihnen, eine Frage durch Hochladen der Projektdatei im ZIP-Format zu erstellen. Die Dateigröße kann bis zu 5MB betragen.  

2. Von Github klonen: Diese Option ermöglicht es Ihnen, ein Projekt aus Ihrem privaten oder öffentlichen Git-Repository zu klonen. Nach der Auswahl der Git-Option müssen Sie einen Link zu Ihrer Repository-Quelle angeben. Wenn das Repository privat ist, benötigt die IDE die Erlaubnis, sich mit ihm über ein Einmal-Token zu verbinden. Wir speichern Ihre GitHub-Zugangsdaten zu keinem Zeitpunkt in unserem System.

3. Beispielprojekt verwenden: Wenn Sie diese Option wählen, wird eine Standardbeispielprojektfrage zur IDE hinzugefügt. Sie können dieses Beispielprojekt verwenden, um Ihre Frage zu erstellen.

Einrichtung von IDE und Datenquelle

Beim Einrichten einer Retrieval-Augmented Generation (RAG) Frage müssen Sie eine Datenquelle definieren, aus der das Modell Informationen abrufen kann. Sie können zwischen folgenden Optionen wählen:

• Dateibasierten Speicher

• Datenbank (DB) Speicher

Dateien als Datenquelle hochladen

Die Plattform ermöglicht es Ihnen, Daten Dateien direkt über die Benutzeroberfläche hochzuladen und zu verwalten. Diese Dateien sind im IDE zugänglich für weitere Bearbeitung und Verarbeitung.

• Option 1: Verweisen Sie auf einen vorhandenen Dateipfad in Ihrem Projekt. Das System zeigt die Token-Anzahl und das Größenlimit an.

• Option 2: Laden Sie eine neue Datendatei separat über die Benutzeroberfläche hoch. Die Datei wird in S3 oder der IDE gespeichert (je nach Entwicklung).

Dateigrößenlimits:

• Maximale Dateigröße: 500MB (oder basierend auf Token-Limits).

• Nicht-Text-Dateien: Nur das Größenlimit wird durchgesetzt.

• Hochgeladene Dateien werden in einem dedizierten "Daten" Ordner gespeichert und zu .gitignore hinzugefügt, um unnötiges Versionskontrolltracking zu vermeiden.

Token-Berechnung und Warnungen:

• Sobald eine Datei hochgeladen ist, werden die Token-Anzahl und die damit verbundenen Beschränkungen angezeigt.

• Wenn das Token-Limit überschritten wird, kann Rate-Limiting aufgrund größerer Einbettungen angewendet werden.

Verwendung einer Datenbank als Datenquelle

Sie können strukturierte Daten als .db- oder .sql-Dateien für datenbankbasierte Speicherung hochladen. Dies ermöglicht es Ihnen, Ihre Daten effizient innerhalb des Projekts zu verwalten und abzufragen.

• Laden Sie eine .db- oder .sql-Datei direkt hoch.

• Die gleichen Einschränkungen wie bei Dateiuploads gelten (Größe und Token-Limits).

• Große Datenbank-Einbettungen können Rate-Limits auslösen.

Limits und Einschränkungen der Datenquelle

• Anforderungsgrenze: 30 Anfragen pro Minute

• Token-Limits:

  • Standardlimit: 3.000 Token pro Minute

  • Embedding-Modell: 30.000 Token pro Minute

• Parallele Anfragen: Bis zu 5 gleichzeitige Anfragen

Das Einrichten einer effizienten Datenquelle stellt sicher, dass Ihr RAG-Modell optimal funktioniert und innerhalb dieser Grenzen bleibt.

IDE-Einrichtung 

• Beim Erstellen eines Projekts kann ein Benutzer konfigurieren, welcher Befehl beim Klicken auf bestimmte Menüelemente im IDE ausgeführt wird. Die Installation ist ein solcher Befehl.

• Hier können Sie das IDE so konfigurieren, dass bestimmte Befehle ausgeführt werden, die für das Projekt ausgelöst werden sollen, wenn die Schaltfläche geklickt wird. Dieser Befehl wird für die Kandidaten beibehalten, d.h., die Kandidaten sehen die gleiche Befehlsausführung, wenn sie die Frage verwenden.

• Das gleiche gilt für Ausführen und Testen.

Standardmäßig geöffnete Dateien 

• Sie können festlegen, welche Dateien im Projekt standardmäßig für die Kandidaten geöffnet werden, wenn sie am Projekt arbeiten.

• Sie können mehrere Dateien in diesem Bereich angeben, und alle angegebenen Dateien werden im IDE geöffnet.

Nur-Lese-Dateien

• Frageersteller können im Projekt nur-Lese-Dateien festlegen, die die Kandidaten nicht bearbeiten dürfen. Dabei kann es sich um Testfall-Dateien oder Readme-Dateien handeln. Geben Sie hier den Pfad zu diesen Dateien an.

Bewertungseinstellungen 

• Sie haben die Möglichkeit, zwischen automatischer Bewertung und keiner zu wählen. Wählen Sie Ja oder Nein entsprechend Ihrer Präferenz. 

• Wenn Sie die automatische Bewertung aktivieren,  bewertet HackerRank die Lösung eines Kandidaten basierend auf dem Bestehen- oder Durchfallen-Status der in der XML-Datei generierten Unit-Tests. Der Bewertungsbefehl sollte die XML-Datei mit Testfällen im Junit-, XUnit- oder TAP-Format generieren. Geben Sie eindeutige Namen an, wenn Sie mehrere XML-Dateien verwenden möchten. Die XML-Dateien werden geparst, um eine Liste von Testfällen zu erstellen und eine Punktzahl für den Kandidaten zu erzeugen. Alle Testfälle werden standardmäßig gleich gewichtet.

• Definieren Sie den Bewertungsbefehl: Der Bewertungsbefehl sollte die XML-Datei mit den Testergebnissen generieren. 

• Ausgabedatei für die Bewertungseinstellungen: Geben Sie die Liste der XML-Dateipfade an, die beim Ausführen des 'Bewertungsbefehls' generiert werden. HackerRank führt den Bewertungsbefehl aus, um eine Punktzahl zu generieren, sucht nach diesen Bewertungs-Ausgabedateien und parst diese Dateien. Wenn keine Dateien aufgelistet sind, wird die Ausgabe des Bewertungsbefehls für die Bewertung verwendet; bei mehreren XML-Dateien geben Sie eindeutige Namen an.

• Versteckte Dateien: In dieser Einstellung können Sie eine Liste von Testfall-Dateien angeben, die für den Kandidaten während der Lösung der Frage verborgen sind. Diese versteckten Testfälle werden jedoch weiterhin die Punktzahl des Kandidaten generieren, sobald er seine Lösung einreicht.

Validierung

• Wenn die Validierung fehlschlägt, verwenden Sie die Informationen, die das Validierungsergebnis bereitstellt, um das Projekt zu beheben.

• Angenommen, die Validierung schlägt bei einem Schritt fehl, der nach der Erstellung eines Servers ausgeführt wird (z.B. Validierung des Bewertungsbefehls). In diesem Fall erhalten Sie einen zusätzlichen Link namens 'Debug-Konsole öffnen'. Sie können den Server öffnen und den Bewertungsbefehl in der Live-Umgebung debuggen. Die Debug-Konsole ist 30 Minuten lang verfügbar, und Änderungen, die hier vorgenommen werden, werden nicht im Originalprojekt gespeichert.

• Wenn Sie eine Full-Stack-Frage beim Bearbeiten bestehender Dateien bearbeiten, können Sie 'Zur letzten validierten Version zurücksetzen', was die Dateistruktur auf den letzten gültigen Zustand zurücksetzt. Ebenso können Sie 'Die zuletzt gespeicherte Ordnerstruktur herunterladen.'

Netzwerkindikator

Sie können den Netzwerkindikator innerhalb der IDE überwachen, um sicherzustellen, dass Sie beim Erstellen einer Projektfrage keine Probleme haben.

Blockierte Domains Indikator

Wenn Ihr Projekt auf blackgelistete Domains zugreift, wird die IDE Sie darüber informieren.

Sie können auf Blockierte Domains anzeigen klicken, um die Domain-URLs zu überprüfen.

Schritt 3: Fragen-Details

Auf der Registerkarte Fragen-Details geben Sie Folgendes an:

• Fragenname: Benennen Sie Ihre Frage und stellen Sie sicher, dass der Name der Frage keinen Hinweis auf die Lösung des Problems gibt.

• Punktzahl: Während Sie jeder Frage eine beliebige Punktzahl zuweisen können, verwenden wir bestimmte Standards, um den nützlichen Fragen Punktzahlen zuzuweisen.

• Tags (Optional): Tags sind Wörter oder Phrasen, die bei der Suchbarkeit und Organisation Ihrer Fragen helfen. Sie können die vorhandenen Tags hinzufügen oder neue Tags erstellen. Legen Sie den Schwierigkeitsgrad Ihrer Frage fest, indem Sie die Tags als Einfach, Mittel oder Schwer zuordnen. Alternativ können Sie benutzerdefinierte Tags zuordnen, um Ihre Frage nach Komplexität oder Niveau zu kennzeichnen. Wählen Sie die Tags aus der Dropdown-Liste aus oder fügen Sie Ihren benutzerdefinierten Tag hinzu. 

• Wenn Sie Ihre Fragen in der Bibliothek anzeigen, werden die zugeordneten Tags für jede Frage angezeigt. Sie können diese Tags verwenden, um Kandidatenberichte und Leistungsdiagramme zu erstellen. Weitere Informationen finden Sie unter Tags zu Frage zuordnen. 

• Problem Beschreibung: Stellen Sie sicher, dass die Problemstellung klar und detailliert ist. Sie können auch Tabellen, Diagramme oder Anhänge verwenden, um die Klarheit zu verbessern.

• Software-Anweisungen: Dieses optionale Feld enthält Informationen über Pakete und Softwareversionen, die zur Lösung der Frage erforderlich sind. Wenn es leer bleibt, werden die Standardplattformanweisungen verwendet.

• Interviewer-Richtlinien: Interviewer-Richtlinien sind für spätere Referenz. Sie können eine Bewertungsrubrik für die Fragen einschließen oder Lösungen für die Probleme in diesem Abschnitt schreiben. Ihr Team kann diese bei der Bewertung des Tests verwenden. Sie sind nur für Ihr Team und Sie sichtbar; Kandidaten können diese Notizen jedoch nicht einsehen. Dieser Schritt ist optional.

• Das Anhängen einer relevanten Referenzdatei in diesen Abschnitten kann Ihre Problemstellung und Interviewer-Richtlinien unterstützen. Weitere Informationen finden Sie unter Datei an ein Problem anhängen.

Sie können die Kandidatenvorschau nach Abschluss der Fragenstellung überprüfen, um zu verstehen, wie die Frage in einem Test präsentiert wird.