L’isolotto è stato abitato fino agli anni ‘60 dai guardiani del faro che avevano orti coltivati e animali da cortile; il faro della Marina Militare inaugurato nel 1844 occupa ancora la sommità di Palmaiola dove è presente anche un piccolo eliporto.
All’anno mille risale una torre di avvistamento costruita dai pisani contro le incursioni corsare e nel XIII secolo un oratorio accoglie mistici eremiti agostiniani.
Secondo la leggenda qui ha subito il martirio la patrona di Piombino, Sant’Anastasia.
Dal sacro al profano, un’altra leggenda narra la tragica storia di Palmaiola, giovane elbana rapita dai corsari e il disperato tentativo del fidanzato di liberarla quando la nave corsara era attraccata all’isolotto.
Probabilmente Palmaiola deve il suo nome alla piccola colonia di palme nane che cresceva tra i suoi scogli e non alla sfortunata fanciulla, ma il fascino della leggenda fa parte della sua storia.