לדברי כוהני ג'רבה, מסורת בידם, כי אבותיהם הגיעו לאי בעת חורבן הבית הראשון, והביאו עמם דלת מדלתות בית המקדש, אשר הצילו מתוך השריפה והציבוה בבית הכנסת אל ע'ריבה El Griba. מקדש מעט אל ע'ריבה נחשב לאחד מהאתרים המקודשים ביותר על יהודי צפון אפריקה. פירוש שמו הוא "המוזר" או "המופלא". על פי אגדה אחת, נבנה בית הכנסת במחצית הראשונה של המאה ה-19, במקום בו עמדה קודם בקתה, בה התגוררה נערה פלאית ומסתורית ("ע'ריבה" בערבית), היא מעולם לא התערתה בקרב תושבי האי. באחד מלילות החורף, בעודה ישנה על מיטתה, פרצה דליקה שכילתה את ביתה אך היא עצמה לא ניזוקה. ואז הבינו יהודי ג'רבה שקדושה הייתה ועל מקום ביתה ייסדו בית כנסת וקראו לו בשמה.