انتقلت العائلة المقدسة من حارة زويلة إلى منطقة مصر القديمة التي اشتهرت في ذلك الوقت بمجمع جالية يهودية كبير. وأقامت العائلة المقدسة هناك فترة من الزمن في مغارة تحت كنيسة القديسين سرجيوس وواخس (معروفة أيضا بكنيسة أبو سرجة) اللذان استشهدا في القرن الرابع الميلادي.
وقد سميت المنطقة باسم “بابليون” وقيل أنه من كلمة “باب إيلو” بمعنى “باب الله”