Με κάθε λαμπρότητα η πόλη του Ναυπλίου τιμά τον Άγιο Ανδρέα τον πρωτόκλητο στο Ιστορικό εκκλησάκι που βρίσκεται στο κάστρο Παλαμήδι κι είναι αφιερωμένο στον Άγιο. Κάθε χρόνο πλήθος κόσμου πηγαίνει για να τιμήσει τον Άγιο Ανδρέα.

Τον πανηγυρικό εσπερινό τέλεσαν οι Ιερείς π.Γεώργιος Φρίμης ,π. Παναγιώτης Καζάς , π.Παναγιώτης Κιντής εφημέριος του Μητροπολιτικού ναού στο Ναύπλιο, και ο π. Βασίλειος Γκολέμης . Ο Ναός του Αγίου Ανδρέα βρίσκεται μέσα στον ομώνυμο προμαχώνα του κάστρου.

Στεγάζεται με ημικυλινδρικό θόλο και εισχωρεί κατά το ανατολικό μισό μέρος μέσα σε μία από τις καμάρες που στηρίζουν τον περίπατο των τειχών. Το ελεύθερο μέρος του είναι δίκλιτο. Το εκκλησάκι του Αγίου Ανδρέου κτίστηκε το 1712 από τον Αυγουστίνο Σαγρέδο.

Το Παλαμήδι χρησιμοποιήθηκε μέχρι το 1916 ως φυλακές, και συγκεκριμένα ο προμαχώνας Μιλτιάδης για τους ισοβίτες ή θανατοποινίτες κατάδικους και οι λεγόμενες φυλακές του «Αγιαντρέα» ή «Κατάστημα» γιʼ αυτούς που είχαν ελαφρότερες ποινές. Ένα μικρό πλάτωμα, το γνωστό ως «Αλωνάκι» χρησίμευε ως τόπος εκτελέσεων, ενώ οι δήμιοι, πρώην θανατοποινίτες, κατοικούσαν στο επιθαλάσσιο φρούριο, το Μπούρτζι.