Ο Αριστοτέλης αναφέρει ότι ο Πεισίστρατος ξεκίνησε την ανέγερση του ναού ακολουθώντας τη γνωστή τακτική πολλών άλλων τυράννων, οι οποίοι κρατούσαν τον πληθυσμό απασχολημένο, ώστε να μην εξεγείρεται ενάντια στη σκληρή διακυβέρνηση. Σύμφωνα με τον περιηγητή Παυσανία όμως, τον ναό είχε θεμελιώσει ο Δευκαλίωνας, ο γενάρχης των Ελλήνων, για να τιμήσει το Δία που τον έσωσε από τον κατακλυσμό.
Όπως διαβάζουμε στη “Μηχανή του Χρόνου” με την πτώση της τυραννίας του Πεισίστρατου, η ανέγερση του ναού διακόπηκε. Λέγεται μάλιστα, ότι κομμάτια του χρησιμοποιήθηκαν για να χτιστεί το τείχος του Θεμιστοκλή, γύρω στα 479 π.Χ. Πολλοί προσπάθησαν να συνεχίσουν την ανοικοδόμηση του ναού, όπως ο Αντίοχος Δ’ βασιλιάς της Συρίας και ο Ρωμαίος αυτοκράτορας Αύγουστος.
Τελικά όμως, ο ναός του Ολυμπίου Διός αποπερατώθηκε το 132 μ.Χ. από τον Αδριανό ο οποίος ήρθε στην Αθήνα το 124 μ.Χ., έγινε Αθηναίος Πολίτης και έκανε πολλά σημαντικά έργα για την πόλη. Σε ένα τείχος που χώριζε τη νέα από την παλιά Αθήνα της εποχής, εκεί κοντά, έχτισε και τη γνωστή Πύλη που πήρε το όνομά του. Στην τελική του μορφή, ο ναός του Ολυμπίου Διός είναι φτιαγμένος από πεντελικό μάρμαρο.
Ο ρυθμός του είναι Κορινθιακός. Το μήκος του ξεπερνά τα 100 μέτρα και το πλάτος του τα 40. Όσο για τις περίφημες κολόνες του, συνολικά ήταν 104. Είχαν ύψος 17 μέτρα και διάμετρο 2,6 μέτρα ενώ καθεμιά ζύγιζε 364 τόνους!
Από το 500 μ.Χ. ο ναός σταδιακά ερειπώθηκε και οι κολόνες άρχισαν να πέφτουν. Μέχρι τις αρχές του 19ου αιώνα όρθιες στέκονταν μόλις 16. Όμως μια φοβερή καταιγίδα το 1852 έριξε άλλη μία, η οποία κείται στην ίδια θέση μέχρι σήμερα.
Εκείνη την εποχή, ο Αριστοτέλης Βαλαωρίτης, επηρεασμένος από το γεγονός, έγραψε το ποίημα: «Προς την υπό λαίλαπος δεινής κρημνισθείσαν στήλην του Oλυμπίου Διός». Και έτσι ξεκίνησε ο καυγάς… αρκετά αργότερα, βέβαια. Δεν μπορούμε να αποφασίσουμε αν πρέπει να λέμε «οι στήλες του Ολυμπίου Διός» ή «οι στύλοι του Ολυμπίου Διός». Ένα από τα μεγαλύτερα μνημεία των Αθηνών συζητιέται μέχρι σήμερα όχι για τη γλώσσα του, αλλά για τη γραμματική του.