יצירת שאלה ב-RAG (הפקה מוגברת על ידי שאילתות)

פרויקטי HackerRank ל-RAG מאפשרים לך ליצור שאלות מבוססות פרויקטים בעולם האמיתי כדי להעריך את יכולתם של המועמדים ליישם מערכות Retrieval-Augmented Generation (RAG). תכונה זו עוזרת לך לזהות מועמדים עם מיומנויות חזקות באיתור מידע רלוונטי, אינטגרציה שלו עם מודלים של בינה מלאכותית יצירתית, ואופטימיזציה של דיוק התגובה.

עם יכולת זו, תוכל להשתמש בהערכות RAG מוגדרות מראש שמעריכות מיומנויות מפתח כגון:

• אחזור ומדידה של נתונים (למשל, שימוש בבסיסי נתונים וקטוריים)

• כיוונון עדין

• הערכת תוצאות שנוצרו

בנוסף, תוכל ליצור שאלות מותאמות אישית מבוססות RAG, המותאמות להערכת מועמדים בטכניקות איתור, תוספת ויצירת תגובות רלוונטיות למקרה השימוש שלך.

שלבים ליצירת שאלה ב-RAG

• לחץ על לשונית הספרייה בדף הבית ולחץ על כפתור יצירת שאלה.

• בתיבת הדו-שיח בחר סוג שאלה, תחת פרויקטים, בחר Generative AI, כפי שמוצג למטה.

שלב 1: סביבה

• בתיבת הסביבה, תוכל לבחור RAG. תוכל להניח את הסמן על אייקון המידע לקבלת מידע נוסף.

• לחץ על כפתור הבא כדי להמשיך לשלב הבא.

שלב 2: הגדרת פרויקט

יש שלושה שלבים בהגדרת פרויקט:

בחר פרויקט

ברגע שה-IDE נטען, תוכל להגדיר את פרויקט השאלות שלך באמצעות אחת מהאפשרויות הבאות:

1. העלאת ZIP: אפשרות זו מאפשרת לך ליצור שאלה על ידי העלאת קובץ הפרויקט בפורמט ZIP. גודל הקובץ יכול להגיע עד 5MB.  

2. שכפול מ-Github: אפשרות זו מאפשרת לך לשכפל פרויקט ממאגר Git פרטי או ציבורי שלך. לאחר בחירת אפשרות Git, עליך לספק קישור למקור המאגר שלך. אם המאגר פרטי, ה-IDE יזדקק להרשאה להתחבר אליו באמצעות אסימון חד-פעמי. אנחנו לא שומרים את פרטי הכניסה שלך ל-GitHub במערכת שלנו בכל עת.

3. שימוש בפרויקט דוגמה: כאשר תבחר באפשרות זו, תתווסף שאלה של פרויקט דוגמה כברירת מחדל ל-IDE. תוכל להשתמש בפרויקט הדוגמה הזה לבניית השאלה שלך.

הגדרת IDE ומקור הנתונים

בעת הגדרת שאלת יצירה מבוססת שאילתות (RAG), עליך להגדיר מקור נתונים ממנו המודל יכול לאחזר מידע. תוכל לבחור בין:

• אחסון מבוסס קבצים

• אחסון במסד נתונים (DB)

העלאת קבצים כמקור נתונים

הפלטפורמה מאפשרת לך להעלות ולנהל קבצי נתונים ישירות דרך ה-UI. קבצים אלה יהיו זמינים ב-IDE לעריכה ולעיבוד נוסף.

• אפשרות 1: הפנה נתיב קובץ קיים בפרויקט שלך. המערכת תציג את ספירת הטוקנים ו< b>הגבלת הגודל.

• אפשרות 2: העלה קובץ נתונים חדש בנפרד באמצעות ה-UI. הקובץ יאוחסן ב-S3 או ב-IDE (כפי שנקבע על ידי הפיתוח).

הגבלות גודל קובץ:

• גודל קובץ מקסימלי: 500MB (או בהתאם למגבלות הטוקנים).

• קבצי לא טקסט: רק תוגבל לגודל.

• הקבצים שהועלו יאוחסנו ב< b> תיקיית "נתונים" ייעודית ויוספו ל-.gitignore כדי למנוע מעקב מיותר של ניהול גרסאות.

חישוב טוקנים ואזהרות:

• לאחר שהקובץ הועלה, יופיעו ספירת הטוקנים וההגבלות הקשורות.

• אם יוחרגו מגבלת הטוקנים, ייתכן שיחול הגבלת קצב עקב תבניות גדולות יותר.

שימוש במסד נתונים כמקור נתונים

אתה יכול להעלות נתונים מובנים כ-.db או .sql קבצים לאחסון מבוסס מסד נתונים. זה מאפשר לך לנהל ולשאול את הנתונים שלך ביעילות בתוך הפרויקט.

• העלה קובץ .db או .sql ישירות.

• אותן הגבלות כמו העלאת קבצים חלות (גודל ומגבלות טוקנים).

• תבניות גדולות של תבניות מסד נתונים עלולות להפעיל הגבלות קצב.

הגבלות ומגבלות על מקורות הנתונים

• מגבלת בקשות: 30 בקשות לדקה

• מגבלות טוקנים:

  • מגבלה סטנדרטית: 3,000 טוקנים לדקה

  • מודל תבניות: 30,000 טוקנים לדקה

• בקשות מקבילות: עד 5 בקשות במקביל

הגדרת מקור נתונים יעיל מבטיחה שהמודל RAG שלך יפעל באופן אופטימלי תוך שמירה על מגבלות אלה.

הגדרת IDE

• בעת בניית פרויקט, משתמש יכול להגדיר איזה פקודה תופעל כאשר לוחצים על פריטי תפריט מסוימים ב-IDE. ההתקנה היא אחת הפקודות הללו.

• כאן, תוכל להגדיר את ה-IDE להריץ פקודות ספציפיות שיש להפעיל עבור הפרויקט כאשר הלחצן נלחץ. פקודה זו תישמר למועמדים, כלומר, המועמדים יראו את אותה הפעלת פקודה כאשר הם משתמשים בשאלה.

• אותו דבר חל על Run ו-Test.

קבצים פתוחים כברירת מחדל

• אתה יכול להגדיר אילו קבצים בפרויקט ייפתחו כברירת מחדל עבור המועמדים כאשר הם עובדים על הפרויקט.

• אתה יכול לציין מספר קבצים בזה, וכל הקבצים המצוינים ייפתחו ב-IDE.

קבצים לקריאה בלבד

• יוצרי השאלות יכולים להגדיר קבצים לקריאה בלבד בפרויקט שהמועמדים לא יוכלו לערוך. אלה עשויים להיות קבצי מקרה בדיקה או קבצי readme. ציין את נתיב הקובץ לקבצים אלה כאן.

הגדרות ניקוד

• אתה מקבל אפשרות לבחור בין קבלת ניקוד אוטומטי או לא. בחר כן או לא בהתאם להעדפתך. 

• אם תפעיל ניקוד אוטומטי, HackerRank מדרג את הפתרון של המועמד על בסיס מצב ההצלחה והכישלון של תוצאות בדיקת היחידה שנוצרות בקובץ ה-XML. פקודת הניקוד צריכה לייצר את קובץ ה-XML עם מקרי הבדיקה בפורמט Junit, XUnit, או TAP. ספק שמות ייחודיים אם יש לך קבצי XML מרובים שיש להשתמש בהם. הקבצי XML מנותחים ליצירת רשימת מקרי בדיקה וליצירת ניקוד למועמד. כל מקרי הבדיקה מוקצים משקל שווה כברירת מחדל.

• הגדר פקודת ניקוד: הפקודה צריכה לייצר את קובץ ה-XML עם תוצאות מקרי הבדיקה. 

• קובץ פלט הגדרות ניקוד: ספק את רשימת הנתיבים לקבצי ה-XML שנוצרו כאשר 'פקודת הניקוד' מתבצעת. HackerRank מריץ את פקודת הניקוד ליצירת ניקוד, מחפש את קבצי הפלט האלו ומנתח אותם. אם לא מצוינים קבצים, יישומו של פלט הפקודה לניקוד ישמש לניקוד; עבור קבצי XML מרובים, ספק שמות ייחודיים.

• קבצים מוסתרים: בהגדרה זו, תוכל לספק רשימת קבצי מקרי בדיקה המוסתרים מהמתמודד בזמן שהם פותרים את השאלה. עם זאת, מקרי הבדיקה המוסתרים עדיין יפיקו את הניקוד של המועמד ברגע שישלח את הפתרון שלו.

אימות

• אם האימות נכשל, השתמש במידע שמספק תוצאות האימות כדי לתקן את הפרויקט.

• נניח שהאימות נכשל בשלב ריצה לאחר שנוצר שרת (אימות פקודת ניקוד, למשל). במצב כזה, תקבל קישור נוסף שנקרא 'פתח את קונסולת הדיבוג'. תוכל לפתוח את השרת ולבצע דיבוג של פקודת הניקוד בסביבת הפעלה חיה. קונסולת הדיבוג זמינה ל-30 דקות, והשינויים שנעשו כאן אינם נשמרים לפרויקט המקורי.

• אם עבדת על שאלה של Full Stack בשינוי קבצים קיימים, תוכל 'לאפס לגרסה המאושרת אחרונה,' שיאפס את מבנה הקבצים למצב התקין האחרון. באופן דומה, תוכל 'להוריד את מבנה התיקיה האחרון שנשמר.'

מדד רשת

אתה יכול לנטר את אינדיקטור הרשת בתוך ה-IDE כדי להבטיח שלא תיתקל בבעיות בעת יצירת שאלה לפרויקט. 

אינדיקטור דומיינים חסומים

אם לפרויקט שלך יש דומיינים ברשימה השחורה, ה-IDE יודיע לך על כך.

אתה יכול ללחוץ על הצג דומיינים חסומים כדי לבדוק את כתובות ה-URL של הדומיינים. 

שלב 3: פרטי השאלה 

בכרטיסייה פרטי השאלה, פרט את הדברים הבאים:

• שם השאלה: הזן את שם השאלה שלך וודא ששמו אינו מרמז על הפתרון לבעיה. 

• ניקוד: בעוד שאתה יכול להקצות כל ניקוד שתרצה לשאלות שאתה יוצר, אנו משתמשים בסטנדרטים מסוימים להקצאת ניקוד לשאלות שימושיות.

• תגיות (אופציונלי): תגיות הן מילים או ביטויים שעוזרים באפשרות החיפוש ובארגון השאלות שלך. תוכל להוסיף את התגים הקיימים או ליצור תגים חדשים. קבע את רמת הקושי של שאלתך על ידי קישור התגים כקל, בינוני או קשה. לחלופין, קישור תגים מותאמים אישית כדי לזהות את שאלתך לפי רמת הקושי או הרמה. בחר את התגים מרשימת הנפתח או הוסף את התג המותאם אישית שלך.

• כאשר תצפה בשאלות שלך בספרייה, התגים הקשורים יופיעו לכל שאלה. תוכל להשתמש בתגים אלה ליצירת דוחות מועמדים וגרפי ביצוע. עיין ב-קישור תגים לשאלה למידע נוסף.

• תיאור הבעיה: בעת תיאור הבעיה, ודא שהשאלה ברורה ומפורטת. תוכל גם להשתמש בטבלאות, גרפים או קבצים מצורפים לשיפור ההבהרה.

• הוראות תוכנה: שדה אופציונלי זה מכיל מידע על חבילות וגרסאות תוכנה הדרושות לפתרון השאלה. כאשר משאירים אותו ריק, יישומו הוראות הפלטפורמה ברירת מחדל.

• קווי הנחיה למראיין: קווי ההנחיה למראיין הם לעיון עתידי. תוכל לכלול קריטריון על ניקוד השאלות או לכתוב פתרונות לבעיות בחלק זה. הצוות שלך יכול להשתמש בהם בעת הערכת המבחן. הם נראים רק לצוות שלך ולך; עם זאת, המועמדים לא יוכלו לצפות בהערות אלה. שלב זה הוא אופציונלי.

• צרף קובץ רפרנס רלוונטי בחלקים אלה כדי לתמוך בהגדרת הבעיה שלך ובהנחיות למראיין. למידע נוסף, עיין ב-צרף קובץ לבעיה.

אתה יכול לבדוק את תצוגת המועמד לאחר השלמת יצירת השאלה כדי להבין כיצד השאלה מוצגת במבחן.