Святое Семейство переместилось из района Харет Зувайла в район Старого Каира, который был известен в то время большой еврейской общиной. Святое Семейство пробыло там некоторое время в пещере под Церковью Святых Сергия и Вакха (также известной как Церковь «Абу Серга»), которые оба приняли мученическую смерть в IV веке нашей эры.
Район был назван «Вавилон» и полагалось, что он происходит от слова «Баб Эло», означающего «Врата Бога».