Στοιχεῖα γιά τόν βίο τοῦ Ἁγίου Ἰωάννου ἀντλοῦμε ἀπό τόν βίο τοῦ Ὁσίου Νείλου τοῦ Μαλεΐνου († 26 Σεπτεβρίου).

Ὁ Ὅσιος Ἰωάννης ἦταν πολύ μορφωμένος καί ἄριστος ἑρμηνευτής τῆς Ἁγίας Γραφῆς. Διετέλεσε ἡγούμενος τῆς Μονῆς τοῦ Ἁγίου Ναζαρίου στό Μερκούριο τῆς Νότιας Ἰταλίας, στήν ὁποία ἄρχισε τόν ἀσκητικό του βίο ὁ Ὅσιος Νεῖλος. Ἀργότερα ἔζησε σέ σπήλαιο μέ ἀδιάλειπτη προσευχή καί ἡσυχία, γι’ αὐτό καί ἐπονομάσθηκε Μεγάλος.

Κοιμήθηκε μέ εἰρήνη μεταξύ τῶν ἐτῶν 950 – 960 μ.Χ.