Sono passati appena duecento anni dal momento in cui la piccola statua, conosciuta oggi con il nome di Madonna dello Schiavo, si è presentata davanti gli occhi del giovane carlofortino Nicola Moretto, schiavo a Nabeul, in Tunisia, il 15 novembre 1800. Guardando due navigli che si dirigevano verso l’Italia, con gli occhi pieni di lacrime, Nicola abbassò lo sguardo, ed ecco che qualcosa – il simulacro della Vergine, tra un albero di limoni dolci e uno di datteri – gli si parò davanti e pensò subito a un segno divino. Fatta di legno di tiglio massiccio, la statua è stata ricavata
probabilmente dalla polena di un veliero, come lasciano immaginare i chiodi infissi nel retro. Il Moretto la prese e, dopo qualche giorno, la consegnò a don Nicolò Segni, u previn (il pretino), il giovane sacerdote che si era offerto schiavo per seguire i suoi parrocchiani in schiavitù. Tutti gli
schiavi, venuti a conoscenza del ritrovamento del simulacro della Vergine, accorsero alla Chiesa di Santa Croce, e iniziarono, sotto la spinta del giovanissimo don Segni, a recitare il rosario, affinché la Madonna concedesse loro la grazia di ritornare presto a Carloforte. Tre anni dopo il
ritrovamento, nel 1803, i carlofortini riebbero la libertà. Molte furono le personalità e gli enti che presero a cuore la loro situazione, tra cui i padri Mercedari di Nostra Signora di Bonaria, numerosi sovrani europei e, non ultimo, il papa, anche se l’intervento decisivo fu quello di Napoleone Bonaparte. Gli schiavi miracolati, tornati sull’isola di San Pietro, sotto la guida di don Segni cominciarono a costruirle un piccolo santuario nel quale la Madonna Nera potesse trovare posto, e in cui ogni miracolato potesse andare a renderle un saluto. I lavori iniziarono il 15 ottobre 1807 e terminarono il 12 agosto 1815.
Nel 1823, la chiesa venne dotata di una campana e, nel 1870, di un organo ancora esistente e funzionante.