Le rovine del tempio servirono infatti, nel tempo, a fortificare il passo, che dava accesso al Regno di Napoli: già nel Medioevo, ma soprattutto a partire dal Cinquecento il luogo fu centro di battaglie tra eserciti napoletani e pontifici, spagnoli, francesi, tedeschi, austriaci, polacchi; nonché spesso occupato da celebri briganti, dotati di imponenti corpi di feroce maramaglia, come il bandito Sciarra che avrebbe qui ospitato il poeta Torquato Tasso nel 1592, e l'ancor più famoso Frà Diavolo, che ponendosi al servizio del re di Napoli contrastò da qui ferocemente la penetrazione napoleonica nel napoletano. A questa fase di battaglie si deve la costruzione del fortino come oggi lo vediamo, eretto da G. Murat re di Napoli circa nel 1810, per la cui costruzione venne spianato il tempio vero e proprio, che ancora si conservava, e quanto restava delle rovine del santuario, che ancora s'innalzavano sui terrazzamenti. L'ultima battaglia condusse il fortino nel 1860, in appoggio alla piazzaforte di Gaeta ove si era rifugiato Francesco II di Borbone, assediato dalle truppe italiane.