建立一個 RAG（檢索增強生成）問題

HackerRank Projects for RAG 使您能夠創建現實世界的、基於項目的問題，以評估候選人實施檢索增強生成（RAG）系統的能力。此功能幫助您識別具有強大技能的候選人，例如：檢索相關信息、將其與生成式 AI 模型集成以及優化回應的準確性。

通過此功能，您可以使用預定義的 RAG 評估，評估關鍵技能，例如：

• 數據檢索與索引（例如，使用向量數據庫）

• 微調

• 生成輸出的評估

此外，您還可以創建自定義的基於 RAG 的問題，根據您的用例調整，以評估候選人在特定檢索、增強和回應生成技術方面的能力。

創建 RAG 問題的步驟

• 點擊主頁上的庫存標籤，然後點擊“創建問題”按鈕。

• 在“選擇問題類型”對話框中，在“項目”下，選擇“生成式 AI”，如下所示。

步驟 1：環境

• 在“環境”標籤中，您可以選擇 RAG。您可以將滑鼠懸停在資訊圖標上以獲取更多資訊。

• 點擊“下一步”按鈕，進入下一步。  

步驟 2：項目設置

設置項目共有三個步驟： 

選擇項目

一旦 IDE 載入，您可以使用以下選項之一來設定您的問題專案：

1. 上傳 Zip：此選項允許您通過上傳 ZIP 格式的專案檔案來建立問題。檔案大小最多可達 5MB。  

2. 從 Github 複製：此選項讓您從您的私人或公開 Git 儲存庫中複製專案。選擇 Git 選項後，您必須提供您的儲存庫來源連結。如果儲存庫是私人的，IDE 將需要權限以一次性令牌連接。 我們絕不在任何時候儲存您的 GitHub 憑證。

3. 使用範例專案：當您選擇此選項時，會在 IDE 中加入一個預設範例專案問題。您可以使用此範例專案來建立您的問題。

IDE 和資料來源設定

在設定一個檢索增強生成（RAG）問題時，您必須定義一個資料來源，模型可以從中檢索資訊。您可以選擇：

• 基於檔案的儲存

• 資料庫（DB）儲存

上傳檔案作為資料來源

該平台允許您直接透過 UI 上傳和管理資料檔案。這些檔案將在 IDE 中可供進一步編輯和處理。

• 選項 1： 在您的專案中引用現有的檔案路徑。系統將顯示 代幣數量 和 大小限制。

• 選項 2： 通過 UI 分別上傳新的資料檔案。該檔案將存儲在 S3 或 IDE（由開發決定）。

檔案大小限制：

• 最大檔案大小：500MB（或根據代幣限制）。

• 非文字檔案：僅會強制執行大小限制。

• 上傳的檔案將存儲在 專用的「資料」資料夾，並加入 .gitignore 以防止不必要的版本控制追蹤。

代幣計算與警告：

• 一旦檔案上傳，將顯示 代幣數量 及相關限制。

• 如果超出代幣限制，可能會因較大的嵌入而施加 速率限制。

使用資料庫作為資料來源

您可以上傳結構化資料作為 .db 或 .sql 檔案以進行資料庫存儲。這允許您在專案中有效管理和查詢您的資料。

• 直接上傳 .db 或 .sql 檔案。

• 與檔案上傳相同的限制（大小和代幣限制）。

• 大型資料庫嵌入可能會觸發 速率限制。

資料來源限制與約束

• 請求限制： 每分鐘 30 次請求

• 代幣限制：

  • 標準限制：每分鐘 3,000 代幣

  • 嵌入模型：每分鐘 30,000 代幣

• 平行請求： 最多 5 個同時請求

建立一個高效的資料來源，確保您的 RAG 模型能夠在這些限制內最佳運作。

IDE 設定 

• 在建立專案時，使用者可以配置在點擊 IDE 中的某些選單項目時會執行的命令。安裝是一個範例命令。

• 在此處，您可以配置 IDE 以執行特定的命令，這些命令應在點擊按鈕時觸發。此命令將為候選人保留，也就是說，候選人在使用問題時會看到相同的命令執行結果。

• 同樣適用於 Run 和 Test。

預設開啟檔案 

• 您可以設定在候選人使用專案時，預設應該開啟哪些檔案。

• 您可以在此指定多個檔案，所有指定的檔案都會在 IDE 中開啟。

唯讀檔案

• 題目創建者可以設定專案中的唯讀檔案，候選人不應該編輯這些檔案。這些可能是測試案例檔案或說明檔案。在此處指定這些檔案的路徑。

評分設定 

• 您可以選擇使用自動評分或不使用。根據您的偏好選擇是或否。

• 如果啟用自動評分，HackerRank 根據在 XML 文件中生成的單元測試結果的通過與失敗狀態來評分候選人的解決方案。評分命令應該生成包含測試案例的 XML 文件，格式可以是 Junit、XUnit 或 TAP。如果您有多個 XML 文件需要使用，請提供唯一名稱。這些 XML 文件會被解析以生成測試案例清單並為候選人產生分數。所有測試案例預設為同等權重。

• 定義評分命令：評分命令應該生成包含測試案例結果的 XML 文件。

• 評分輸出文件：提供在執行「評分命令」時產生的 XML 文件路徑清單。HackerRank 會執行評分命令來產生分數，並搜尋這些評分輸出文件，然後解析這些文件。如果沒有列出任何文件，則會使用評分命令的輸出來進行評分；對於多個 XML 文件，請提供唯一名稱。

• 隱藏文件：在此設定中，您可以提供一個測試案例文件清單，這些文件在候選人解題時會被隱藏。然而，這些隱藏的測試案例仍會在候選人提交解答後產生分數。

驗證

• 如果驗證失敗，請使用驗證結果提供的資訊來修正專案。

• 假設驗證在伺服器建立後的某個步驟（例如評分命令驗證）失敗，您將會得到一個額外的連結，名為「打開除錯控制台」。您可以打開伺服器並在實時環境中除錯評分命令。除錯控制台提供30分鐘，這裡所做的更改不會保存到原始專案中。

• 如果您正在編輯一個完整堆疊問題，並修改現有文件，您可以「重置到最後驗證的版本」，這將重置文件結構到最後有效的狀態。同樣，您也可以「下載最後保存的資料夾結構」。

網路指標

您可以在 IDE 中監控網路指標，以確保在建立專案問題時不會遇到任何問題。 

封鎖域名指標

如果您的專案包含任何黑名單域名，IDE 會通知您。 

您可以點擊 查看封鎖域名 來檢查域名 URL。 

第 3 步：問題詳情

在 問題詳情 標籤中，請指定以下內容：

• 問題名稱： 為您的問題命名，並確保問題名稱不暗示解決方案。 

• 分數： 雖然您可以為您創建的問題分配任何分數，但我們使用某些標準來為有用的問題分配分數。

• 標籤（可選）： 標籤是有助於搜尋和組織您的問題的詞語或短語。您可以添加現有的標籤或創建新標籤。通過將標籤關聯為簡單、中等或困難，來設置您的問題的難度級別。或者，關聯自定義標籤以根據複雜性或級別識別您的問題。從下拉列表中選擇標籤或添加您的自定義標籤。 

• 當您在庫中查看您的問題時，相關的標籤將顯示在每個問題上。您可以使用這些標籤來生成候選報告和性能圖表。有關更多信息，請參閱 將標籤關聯到問題。 

• 問題描述： 在描述問題陳述時，確保問題清楚且詳細。您也可以使用表格、圖表或附件來增強清晰度。

• 軟體說明： 此可選字段包含有關解決問題所需的軟體包和軟體版本的信息。留空時，將使用預設平台說明。

• 面試官指南： 面試官指南供日後參考。您可以在此部分包含評分標準或撰寫問題的解決方案。您的團隊可以在評估測試時使用這些指南。它們僅對您的團隊和您可見；然而，候選人無法查看這些筆記。此步驟為可選。

• 在這些部分附加相關的參考文件可以支持您的問題陳述和面試官指南。欲了解更多信息，請參閱 將文件附加到問題。

完成問題創建後，您可以檢查候選人預覽，以了解問題在測試中的呈現方式。