Στην μεγάλη μοναχική μητρόπολη όμως, τηρούσαν μια ευλαβή συνήθεια, και δεν δέχονταν αγένειους νέους, προς αποφυγήν του σκανδαλισμού των πατέρων και βέβαια για την πλήρη ωρίμανσή των. Με απογοήτευση τότε αναχώρησε ο Αθανάσιος και περιπλανήθηκε σε πολλά μέρη. Πήγε και στην Κωνσταντινούπολη, όπου γνώρισε τον περίφημο Γρηγόριο τον Σιναΐτη, κι αργότερα μετέβηκε στην Κρήτη, κι όταν απέκτησε ηλικία, στα 30 του χρόνια, ξαναγύρισε για να μείνει στο Όρος. Διέμεινε σε μια περιοχή που ανήκει στην Μονή Ιβήρων. Από εκεί, τον κάλεσαν οι πατέρες Γρηγόριος ο Πολίτης και Μωυσής, και του μετέδωσαν το μοναχικό και αγγελικό σχήμα.
Την εποχή εκείνη έκαμαν πολλές επιδρομές στο Άγιον Όρος οι Τούρκοι. Πολλοί μοναχοί αισθάνθηκαν ανασφάλεια και κατέφυγαν στα ενδότερα της ηπειρωτικής χώρας για προστασία. Το ίδιο συνέβη την ίδια περίπου εποχή με τον Άγιο Γρηγόριο τον Παλαμά. Ανάμεσα στους μοναχούς που αποφάσισαν να αυτοεξοριστούν υπήρξαν κι ο Γρηγόριος ο Πολίτης με μαθητές του τον Άγιο Αθανάσιο και τον Γαβριήλ. Έτσι η σεπτή αυτή τριάδα με ιδιάζουσα πνευματικότητα κατευθύνθηκαν δυτικά, πέρασαν την Θεσσαλονίκη και την Βέροια κι ανέβηκαν ευλαβικά για προσκύνημα στη Σκήτη.
Το ακριβές μέρος της παραμονής τους δεν είναι γνωστό. Σκήτη Βεροίας ονομάζεται όλη η κοιλάδα του Αλιάκμονα, η οποία αριθμούσε πολλές μονές. Καταχρηστικώς βεβαίως αναφέρεται ως τόπος διαμονής η Μονή του Προδρόμου, η οποία εκείνη την εποχή ίσως να μην υφίστατο ακόμη.
Κατά την μαρτυρία του Γέροντα του Αγίου, του Γρηγορίου του Πολίτου, ο Αγιος Αθανάσιος λάτρευε την ησυχία κι αποστρέφονταν την ταραχή της πόλεως. Έτσι αν και πάρα πολλοί τους κατέτρεχαν για να τους κρατήσουν στην διακονία της πόλης, αυτοί έψαχναν μέρη να ησυχάσουν. Στη Σκήτη έφθασαν το 1340, τέσσερα-πέντε χρόνια μετά την αναχώρηση του Αγίου Γρηγορίου του Παλαμά. Η παράδοση μας διασώζει πως εδώ, διέτριψαν τρία χρόνια. Αλλά η καρδιά του Αγίου Αθανασίου ετρώθη και εστερεώθη ακραιφνώς πλέον στην αναζήτηση της ησυχίας. Όχι της απλής ησυχίας, αλλά της απόλυτης μόνωσης και ανύψωσης στους πνευματικούς ουρανούς. Για τον λόγο αυτό σκίρτησε η καρδιά του Αγίου όταν άκουσε από τα χείλη του Επισκόπου Σερβίων Ιακώβου πως νοτιότερα υπήρχαν βράχια πανύψηλα που ούτε αετοί δεν φώλιαζαν. Εκεί είχε δει ασκητές να μην μιλούν σε κανένα και να κρύβονται όσο πιο απόμερα γίνεται.
Σχεδόν αμέσως ο Άγιος έβαλε μετάνοια στους αδελφούς, άφησε τη Σκήτη Βεροίας και κατέφυγε στους Σταγούς (Καλαμπάκα). Εκεί επάνω στα πανύψηλα βράχια και συγκεκριμένα επάνω σε μια πέτρα την λεγόμενη Στύλο, κατοίκησε με δύο μαθητές του και έκτισε ναό. Την πέτρα εκείνη ονόμασε Μετέωρο. Επειδή όμως οι προσερχόμενοι για άσκηση πολλαπλασιάσθηκαν, ίδρυσε κοινόβιο με Ναό στο όνομα της Μεταμόρφωσης του Σωτήρα Χριστού.
Εκεί λοιπόν πέρασε ασκητικά τα χρόνια του, και αφού έζησε 78 ετών, απεβίωσε ειρηνικά το 1383 μ.Χ. (κατά άλλους το 1373 μ.Χ.).
