HackerRank 數據集建立方法論

Last updated: June 23, 2025

本文件說明 HackerRank 如何設計、建立並交付資料集，並在軟體開發生命週期（SDLC）中協助客戶加速軟體開發。 

下方的工作流程圖說明了 HackerRank 資料集建立方法論。

合作啟動

每個合作都從了解您的業務背景、技術目標、資料需求和安全限制開始。這確保 HackerRank 在任何專案工作開始前都完全對齊。

目標與範圍對齊

第一步是了解您的模型的使用案例和成功標準。這確保所有交付物——從個別任務到評估資料集——都符合您的最終目標。

  • 用例定義： HackerRank 的機器學習 (ML) 科學家與您的團隊合作，定義您想要改進的特定能力，例如：

    • 程式碼生成

    • 錯誤檢測或修復

    • 程式碼摘要或解釋性

    • 程式碼重構或優化

    • 測試案例生成

    • 安全編碼或靜態分析自動化

  • 模型背景： 捕捉技術細節，例如：

    • 模型架構（例如，編碼器-解碼器、僅解碼器、指令調整）

    • 微調或訓後方法（例如，完整微調、LoRA、SFT、RLHF、DPO）

    • 標記預算、延遲目標和上下文窗口限制

  • 成功指標： 定義定量和定性目標，例如：

    • BLEU、CodeBLEU、精確匹配度或程式碼正確性（單元測試通過率）

    • 幻覺率或失敗率降低

    • 延遲或推理成本每個標記

通過定義關鍵績效指標（KPIs）和模型行為目標，HackerRank 將下游決策—如任務選擇和評估格式—與您的業務優先事項保持一致。

時間表與里程碑規劃

該專案被組織成不同階段，以支持透明且可追蹤的執行。

  • 交付時間表由合作定義並分為明確的里程碑：

    • 資料集結構最終確認

    • 任務抽樣或試點審查

    • 評估設置與基準建立

    • 最終資料集交付與簽核

  • 每個階段都包含反饋檢查點，以保持透明度。

  • 每週同步和共享專案追蹤器確保責任和可見性。

安全性與資料駐留

HackerRank 遵循行業標準的 數據隱私與安全實踐。在項目啟動階段，HackerRank 會最終確定您的安全與合規需求。

  • 數據處理： 如果合作涉及專有源代碼或模型工件，支持以下方式：

    • NDA 支持的訪問控制

    • 區域內數據處理（例如，僅限歐盟、僅限印度）

    • 無保留政策

    • 安全的雲端交接（例如，Amazon S3，限制訪問密鑰）

  • 個人身份信息（PII）編輯： 在處理生產數據（例如，工單或日誌中的代碼片段）時，使用自定義流程來進行：

    • 個人身份信息（PII）編輯（例如，姓名、電子郵件、令牌、IP 地址）

    • 敏感模式屏蔽（例如，API 密鑰、數據庫憑證）

  • 工具隔離： 所有數據集創建都在隔離環境中進行，並具有訪問日誌、版本控制和審計能力。

利益相關者加入

在每次合作開始時，雙方都明確定義了利益相關者的角色。

  • 您的組織：

    • 技術聯絡人（例如，模型所有者、ML工程師）

    • 業務負責人（例如，產品負責人、CTO）

    • 安全或合規代表

  • 在 HackerRank：

    • 合作經理

    • 主題專家（SME）經理

    • 質量保證（QA）負責人

    • ML 科學家

HackerRank 建立共享通訊渠道（Slack 或電子郵件）以及可選的共享驅動器，用於實時更新和狀態報告。

數據集準備

HackerRank 的核心優勢在於一個由高度篩選的專家（SMEs）組成的全球網絡，以及一套經過驗證的方法來創建生產級、多樣化的數據集。該流程融合了領域專業知識、結構化工作流程和多層次的質量保證，以確保每個數據點都是準確的、可解釋的，並與您的目標保持一致。

專家策劃內容生成

  • SME 選擇： 每個數據集參與始於選擇一個專門的 SME 小組，該小組擁有經過驗證的目標語言、框架和領域的專業知識（例如，後端開發、數據工程、DevOps）。

  • 現實任務設計： 每個 SME 負責設計反映軟件開發中真實挑戰的原創編程任務，例如實現 REST API、調試並發錯誤或重構遺留代碼。任務與客戶目標保持一致（例如，代碼生成、錯誤修復、摘要）並在複雜性和格式（函數、類、腳本、項目）上有所不同。SME 使用內部創作工具，提供有關格式合規性、標記和完整性的實時反饋。還維護追蹤作者表現和數據集覆蓋範圍的儀表板。

  • 任務 創作指南： SME 受到詳細、標準化的任務創作指導培訓。這些包括規則：

    • 問題框架與清晰度

    • 預期輸入/輸出

    • 邊緣案例覆蓋

    • 測試案例設計

    • 元數據需求（例如，運行時限制、預期性能）

  • 任務審查與批准：每個任務都經過由 SME 經理（具有領域專長的高級內容工程師）主導的結構化審查流程，然後才納入數據集。審查流程包括技術正確性、指令清晰度、現實世界相關性和符合創作標準的檢查。
    內部工具集簡化了審查和反饋流程，以確保任務質量和責任。

    • 有針對性的反饋：SME 經理可以直接在任務中提供行級評論。

    • 修訂循環：被拒絕的任務會返回給作者，附有詳細反饋和建議改進措施。作者修訂任務並重新提交審查。

    • 版本控制：所有編輯都通過具有審計追蹤的版本控制系統進行追蹤。

    • 性能追蹤：維護追蹤作者表現（例如，每個任務創建所花時間）和數據集覆蓋範圍的儀表板。

  • 接受標準：只有在通過審查且沒有阻塞性問題時，任務才被批准。嚴格的質量檢查確保：

    • 只有完全批准的任務才包含在生產數據集中

    • 部分接受或“足夠好”的任務被排除
      這個結構化的審查流程確保每個任務都經過打磨、明確，並適合用於訓練或評估大型語言模型（LLMs）。

  • 每個任務的多個解決方案：為了提高訓練數據的多樣性和魯棒性，每個任務由至少三個不同的SME獨立解決。這提供了多種解決方案風格，並允許模型從多樣的推理方法中學習。您還可以根據您的具體需求配置每個任務所需的解決方案數量。

元數據與上下文捕捉

每個任務和解決方案組合都會被標註詳細的元數據，以支持後續使用，包括：

  • 構建和運行指令

  • 語言版本和依賴清單

  • 時間和空間複雜度分析（適用時）

  • 邊緣案例和預期失效模式

  • 性能調優說明

這些元數據確保可重複性、便於篩選，以及對數據集切片的更好控制（例如，按難度、長度或錯誤類型）。

自動化與人工質量保證

採用雙層質量保證流程以維持高標準：

  • 理智檢查：所有提交都通過自動化流程驗證，該流程執行測試案例、進行風格和語法的lint檢查，並驗證每個問題與其解決方案之間的一致性。

  • 同行評審：提交由另一位SME進行同行評審，以確保正確性、清晰度和符合既定標準。任何分歧都會觸發結構化仲裁，然後再最終定稿。

  • 風格與文檔檢查：除了功能正確性外，每個解決方案都遵循慣用的編碼風格，包含有用的註解，並避免反模式。這些檢查對於微調開發者助手和代碼解釋模型至關重要。

2ndimage.png

模型評估

一旦數據集確定，它將進入一個結構化的評估階段，以評估模型在微調新數據後的表現。

微調與初步評估

  • 模型整合： 客戶的基礎模型或您選擇的基礎模型，將使用策劃的數據集進行微調。這包括：

    • 完全微調

    • 指令微調

    • 少量提示構建

    • 監督式或RLHF風格的訓練，視情況而定

  • 基準測試： 模型性能將使用以下方法進行評估：

    • 如HumanEval、MBPP和CodeXGlue等標準基準測試

    • HackerRank的ASTRA基準測試，為您的用例定制

    • 從您的生產用例中衍生的自定義測試套件

    • 與您的目標一致的評估指標，例如BLEU、精確匹配率、功能正確性、延遲和幻覺率

如果沒有適合的公共基準測試（例如，領域專用語言、重構），HackerRank將與客戶共同設計一個自定義評估套件，以確保有意義的評估。

評估設計（如適用）

當開源基準測試不足以滿足用例時，將開發一個自定義評估套件。這包括：

  • 從您現有的代碼庫策劃的任務集

  • 由 HackerRank SME 手動評估的金標籤

  • 符合您的業務目標的指標，例如可讀性、安全性或測試覆蓋率

  • 邊緣案例和對抗性範例

  • 未來迭代的回歸安全子集

性能反饋循環

如果模型未能達到預定的成功標準，將啟動結構化的反饋流程。

  1. 錯誤分析： 進行定性和定量分析，包括：

    • 根據問題類型對失敗案例進行聚類

    • 標籤或輸出上的混淆矩陣

    • 代碼正確性分析（例如，語法錯誤與邏輯錯誤）

    • 必要時進行模型輸出的人為審查

  2. 診斷與歸因： 通過評估以下原因來確定性能差距的根本原因：

    • 數據集中的覆蓋不足

    • 模糊的任務指令

    • 模型欠擬合或過擬合

    • 評估不匹配

  3. 數據集迭代： 通過以下方式解決已識別的問題：

    • 改進現有任務（例如，重寫不清楚的問題）

    • 添加新範例以針對薄弱區域

    • 多樣化解決方案風格或測試場景

持續改進循環

評估與調整過程是迭代的：

  • 該模型持續使用更新的數據集進行微調。

  • 新模型輸出會根據基準進行重新評估，並與之前的版本進行回歸測試。

  • 只有在以下情況下，數據集或模型版本才會獲得部署批准：

    • 達到主要目標指標

    • 在次要指標中未發現回歸

    • 客戶簽字確認

目標是閉合模型行為與數據集設計之間的循環，確保您投入的數據能帶來可衡量的實際性能改進。

3rdimage.png

品質審查

在交付之前，每個數據集都會經過結構化、多階段的品質審查，以確保每個任務和解決方案都符合正確性、清晰度和一致性的標準。

最終人工審查

每個任務及相關解決方案都會由未參與任務創建的高級SME審查員進行最終手動審核。這個不偏不倚的檢查點保證了數據集的完整性。

以下標準將被驗證：

  • 商業邏輯與技術正確性： 該任務是否代表一個現實且有意義的程式設計挑戰？所有解決方案是否都正確解決了所述問題？

  • 程式碼風格與格式： 解決方案是否符合慣用語法、易讀且符合語言特定的風格規範？格式是否一致且具有指導性？

  • 說明的清晰度與完整性： 如果資料集包含內聯註解或外部說明，它們是否清楚且準確，便於大型語言模型學習？

  • 測試覆蓋範圍與執行行為： 是否測試了邊界情況？測試案例是否驗證了正確與不正確的實作？時間與空間限制是否被遵守？

依據評分標準的評估

評審者使用一個評分標準，將每個任務拆分為關鍵維度（例如，清晰度、正確性、完整性與格式），並設定通過/不通過的標準與評審者備註。這提供了一個一致且透明的評分系統，適用於所有評審者。

  • 客觀評分確保與客戶期望一致。

  • 評審者備註會記錄每個任務，以追蹤性與持續改進。

爭議解決與仲裁

如果多位評審者意見不合：

  • 啟動結構化的仲裁流程。

  • 每位評審者呈現其評估與理由。

  • 專家經理調解以達成共識。

  • 任務只有在所有疑慮解決且結果被記錄後才會最終定案。 

此流程避免主觀不一致，並確保任務不會在有未解決問題的情況下繼續進行。

版本控制與審計追蹤

所有任務編輯、反饋循環、評審者評論與批准都使用內部工具追蹤。

  • 每個任務的變更記錄都會被維護。

  • 所有審查都會有時間戳與歸屬人員。

  • 完整的修訂歷史可應要求提供，以顯示任務的演變過程與原因。

工具與自動化

雖然人類審查員主導流程，但也會進行最終的自動化處理，以：

  • 重新驗證測試案例和運行時行為

  • 檢測格式漂移和檔案不一致

驗證完整性雜湊值（例如 SHA-256）以支持可重現性。

4thimage.png

資料集交付

在資料集通過所有質量檢查並獲得必要的批准後，HackerRank 會啟動一個安全且可驗證的交付流程。交付工作流程旨在追蹤性、可重現性和與 ML 管道的無縫整合。

打包與最終確認

在交付之前，所有資料集的組件都會被打包，以確保其具有可攜帶性、可驗證性和自包含性。

  • 簽署內容

    • 所有任務、解決方案和元數據都經過質量保證流程批准。

    • 包括適用的測試文件、構建腳本和運行時說明（如適用）。

    • 如果需要，包含任務到SME的歸屬（必要時匿名化）。

  • 版本控制與完整性

    • 數據集以結構化存檔（例如，.tar.gz、.zip）打包，具有一致的文件路徑。

    • 所有文件和整個存檔都包含完整性哈希（例如，SHA-256）。

    • 用於數據集版本之間變更追蹤的基於Git的差異比較。

  • 文件包

    • 包含數據集結構和使用說明的README文件。

    • 包含數據架構或註解格式定義。

    • 安全說明和處理指南已記錄。

交付渠道

HackerRank 支援多種安全、符合企業規範的交付渠道：

  • 加密雲端交付（例如，AWS S3 預簽名URL、GCS安全存儲桶、Azure Blob連結）

  • 客戶指定的安全FTP或VPN端點

所有交付都會被記錄並可追蹤。

客戶演示

應要求，HackerRank會與您的團隊提供演示會議，以：

  • 審查數據集結構和評估設置

  • 澄清元數據、標籤慣例或預期的使用模式

  • 解答來自數據科學家或ML工程師的整合問題

  • 收集未來數據集版本的反饋

存檔與保留

一旦交付確認：

  • HackerRank 會保留資料集和交付記錄的副本，期限為 30 至 90 天（可配置）。

  • 在保留期限結束後，資料集將被安全刪除，除非另有協議。

  • 將發出正式的交付完成報告，包括：

    • 交付時間戳

    • 完整性驗證記錄

    • QA 覆蓋範圍摘要