L’istituzione della colonia penale agricola  nel 1869 ha fortemente condizionato il modesto insediamento dell’isola, confinando gli abitanti civili nel ristretto spazio del paese arroccato intorno al porto ma ha contribuito a conservare intatte le caratteristiche naturali dell’isola. Questa fu abitata in epoca preistorica, come testimonia la scoperta di una stazione nella parte meridionale dell’isola (Eneolitico e Neolitico).

L’isola era conosciuta dai Greci che la chiamavano Gurgon o Urgon e certamente frequentata dagli Etruschi.

Del periodo romano rimangono, nella parte alta di Cala dello Scalo, i ruderi di una splendida villa di probabile epoca tardo-repubblicana ed altre tracce. L’isola fu scelta come sede monastica dai Benedettini prima e, allontanatisi questi, dai Certosini, che vi ritornarono nel XVIII secolo, dopo averla abbandonata perché oggetto delle razzie dei pirati.

Oggi  degli edifici che formavano il convento, demolito per costruire il penitenziario, resta solo la chiesetta. I pisani nel XIII secolo innalzarono sull’isola una fortezza, l’attuale Rocca Vecchia, utilizzata come penitenziario ed ormai in rovina. Nel 1406 Gorgona passò sotto il controllo dei Medici, che costruirono le fortificazioni e la Torre Nuova.

Nel 1606 l’isola venne annessa al Capitanato Nuovo di Livorno fino al 1777, quando il Granduca  Pietro Leopoldo la riscattò e cercò di ripopolarla senza successo.

La Colonia penale non ha mostrato nel passato nessuna particolare attenzione alle caratteristiche architettoniche degli edifici preesistenti utilizzati ed ha costruito nuovi edifici con scarsa sensibilità paesaggistica,  ma ha permesso comunque la conservazione di un habitat naturale di rilievo.

La quantità di vegetazione, in cui  predominano i boschi di Leccio e di Pino d’Aleppo, fa della Gorgona l’isola più verde e lussureggiante dell’ Arcipelago.