Γεννήθηκε στὴ Νικόπολη τῆς Ἀρμενίας τὸ 454 ἀπὸ τὸν Ἐγκράτιο καὶ τὴν Εὐφημία καὶ ἐπὶ βασιλέως Μαρκιανοῦ (450 – 457). Μετὰ τὸν θάνατο τῶν γονέων του, οἰκοδόμησε ναὸ τῆς Ὑπεραγίας Θεοτόκου καὶ μόναζε ἐκεῖ, μαζὶ μὲ 10 μοναχούς. Λόγω τῆς μεγάλης του ἀρετῆς, 28 χρονῶν, χειροτονήθηκε ἐπίσκοπος Κολωνίας. Γιὰ ἐννιὰ χρόνια ἀφοῦ διευθέτησε τὰ ἐκεῖ ἐκκλησιαστικὰ πράγματα, πῆγε στὰ Ἱεροσόλυμα καὶ κατέλαβε τὴν Μονὴ τοῦ Ἅγιου Σάββα. Ἐκεῖ ἀπέκρυψε τὸ ἀληθινό του ἀξίωμα καὶ ὁρίστηκε ἀπὸ τὸν Ἅγιο Σάββα σὰν ὑπηρέτης στὸν ξενώνα καὶ στὸ μαγειρεῖο, ὑπακούοντας μὲ κάθε ταπεινοφροσύνη. Βλέποντας ὁ Ἅγιος Σάββας τὴν μεγάλη του ἀρετή, σύστησε στὸν ἐπίσκοπο Ἱεροσολύμων Ἠλία, νὰ χειροτονήσει τὸν Ἰωάννη Διάκονο καὶ Πρεσβύτερο.
Τότε ὁ Ἰωάννης, χωρὶς νὰ μπορεῖ νὰ κάνει ἀλλιῶς, φανέρωσε τὸ ἀξίωμά του καὶ ἔμεινε στὴ Λαύρα 12 χρόνια καὶ στὴ Ρουθὰ ἕξι χρόνια. Κατόπιν πέρασε ἀσκητικὰ τὰ χρόνια του σὲ διάφορες ἔρημους γιὰ 48 ὁλόκληρα χρόνια καὶ ἀπεβίωσε εἰρηνικὰ 104 χρονῶν.