Καταφύγιο του αυτοκράτορα του Βυζαντίου Ιωάννη ΣΤ’ Καντακουζηνού (1341-1355), που μερίμνησε για την οχύρωσή του, έγινε περίφημο για τα απόρθητα και έρυμνά του τείχη.
Σώζονται σχεδόν ολόκληροι οι δύο κεντρικοί πύργοι. Ο τετράγωνος τριώροφος πύργος, που χρησίμευε για κατοικία, και ο μικρότερος τετραώροφος πύργος, που είχε κυρίως αμυντικό χαρακτήρα. Ανάμεσά τους υπάρχει η μεγάλη τοξωτή είσοδος, που οδηγούσε από τον εξωτερικό στον εσωτερικό περίβολο.
Το κάστρο του Πυθίου είναι γνωστό στην ιστορία για τα απόρθητά του τείχη. Σώζει δύο τετράπλευρους πύργους, από τους οποίους ο κεντρικός είναι και μεγαλύτερος και αρχαιότερος. Ανάμεσά τους σχηματίζεται η πύλη εισόδου από τον εξωτερικό στον εσωτερικό περίβολο, όπου υπήρχαν πρόχειρες εγκαταστάσεις για τη φρουρά. Ο κεντρικός πύργος φέρει εσωτερικά στο κέντρο κτιστό ογκώδη πεσσό, ο οποίος συνδέεται με τους εξωτερικούς τοίχους με τόξα, που σχηματίζουν έτσι και τους δυο ορόφους. Ως προς το σχήμα και τους προβόλους του τελευταίου τρίτου ορόφου, που δεν γνωρίζουμε εάν ποτέ κατασκευάστηκε, μοιάζει με δυο πύργους στην περιφέρεια της Κωνσταντινουπόλεως: τον πύργο στην Παλιάπολη της Σαμοθράκης και τον πύργο στην Αδριανούπολη.
Ο Γρηγοράς (14ος αι.) λέγει ότι το ΙΙύθιον κτίστηκε από τον Ιωάννη ΣΤ’ Καντακουζηνό ως «προσωπικόν του ταμιειον». Νεότερες έρευνες δενδροχρονολόγησης ανάγουν την ίδρυση του κεντρικού πύργου στα 1331. Πριν από την περίοδο αυτή κανένα κτίσμα δεν υπήρχε στο λόφο, που δεσπόζει της κοιλάδας του άνω ρου του Έβρου. Τα αμέσως προηγούμενα του 14ου αι. στρώματα περιέχουν όστρακα προϊστορικά. Φαίνεται ότι η ίδρυση του κάστρου σε αυτή τη θέση στην περιφέρεια της Κωνσταντινούπολης έχει σχέση με τις δυναστικές έριδες, που ξέσπασαν στο Βυζάντιο τον 14ο αι. και στις οποίες ο Ιωάννης Καντακουζηνός έπαιξε πρωτεύοντα ρόλο. Μετά την επέκταση των Οθωμανών στην περιοχή (1360-1361) το κάστρο του Πυθίου εγκαταλείφθηκε χωρίας να αναγνωριστεί καμία χρησιμότητα.
Το φρούριο του Πυθίου, αν και δεν σώζει παρά μέρος μόνο του αρχικού του μεγέθους, εντυπωσιάζει τον επισκέπτη με τη μεγαλοπρέπεια, τη δύναμη και το ανάστημα των κτιριακών του όγκων. Κατατάσσεται στα πρωτοπόρα έργα της φρουριακής βυζαντινής αρχιτεκτονικής
Οι προοπτικές της έρευνας στο Πύθιο, στο Διδυμότειχο, στην Κοσμοσώτειρα και σε άλλες θέσεις κοντά στον Έβρο ποταμό είναι ιδιαίτερα ενδιαφέρουσες, γιατί μέσα από τα μνημεία της περιοχής αυτής βλέπει κανείς την ίδια την Κωνσταντινούπολη. Συνεπώς από τη μέχρι σήμερα αρχαιολογική έρευνα στη Θράκη απόδεικνύονται σωστά όσα ο αυτοκράτορας Κωνσταντίνος Πορφυρογέννητος έγραφε τον 10ο αι. προς τον υιό του Ρωμανό για το χαρακτήρα της περιοχής: «Αρχήν δε της Ευρώπης εγώ τίθημι την Θράκην, επεί και αυτό το Βυζάντιον (Κωνσταντινούπολις) της Θράκης εστίν μέρος κάλλιστον και τιμιώτατον».
