Ο Τζισταράκης, για να εξασφαλίσει τον απαραίτητο ασβέστη για την ανέγερση του τζαμιού, γκρέμισε έναν κίονα από τον διπλανό ναό του Ολυμπίου Διός. Τότε, σύμφωνα με τον θρύλο, ξεκίνησε η κατάρα.
Ο Τζισταράκης προσπάθησε να αποφύγει τις συνέπειες της πράξης του. Για να δωροδοκήσει τον πασά του Ευρίπου, που ήταν ανώτερός του και υπεύθυνος για την Αθήνα, του έστειλε δεκάδες πουγκιά, γεμάτα με γρόσια. Η πράξη του όμως, ήταν ασυγχώρητη και ο Τζισταράκης καθαιρέθηκε.
Οι Τούρκοι δεν μπορούσαν να εμποδίσουν την κατάρα, που πίστευαν ότι απελευθερώθηκε από τη γη, με το γκρέμισμα της κολόνας. Έτσι, όταν την ίδια χρονιά εμφανίστηκε πανώλη, θεωρήθηκε πως ήταν η κατάρα της βεβήλωσης του αρχαίου ναού.
Κατά τη διάρκεια της επανάστασης, το τζαμί χρησιμοποιήθηκε ως χώρος συνελεύσεων της Κοινότητας. Αργότερα χρησιμοποιήθηκε σαν αποθήκη, στρατώνας, ακόμα και σαν φυλακή.
Σήμερα ανήκει στο Μουσείο Ελληνικής Λαϊκής Τέχνης, φιλοξενεί μια εντυπωσιακή συλλογή κεραμικών και είναι το μόνο επισκέψιμο τζαμί της Αθήνας.
