Αμέτρητα είναι τα εκκλησάκια βυζαντινά και προ βυζαντινά μοναστήρια, γεμίζουν τις γωνιές τόσο του Πυθαγορείου όσο και ολόκληρης της Σάμου. Στο βουνό πάνω από το Πυθαγόρειο βρίσκεται η Παναγιά η Σπηλιανή. Από τη μυθολογία αναφέρεται σαν σπηλιά του Απόλλωνα και ιερατείο του Θεού. Επίσης συνδέεται άρρηκτα με τις θρησκευτικές παραδόσεις των Σαμίων αφού αποτέλεσε έναν από τους πρώτους τόπους λατρείας τα πρώτο-χριστιανικά χρόνια. Το 1943 χρησιμοποιήθηκε σαν κρυσφήγετο κατά τους βομβαρδισμούς του 2ευτέρου Παγκοσμίου Πολέμου. Από εκεί ψηλά ο επισκέπτης μπορεί να θαυμάσει την θέα προς την πλαγιά που καταλήγει στο Πυθαγόρειο και την θάλασσα που του ανοίγεται στον ορίζοντα.