Le notizie sulla prima Biblioteca istituita a Taviano le troviamo in una relazione risalente al 1887 del regio delegato straordinario avv. Girolamo Congedo, dove così si legge:
"... in una stanza del Municipio i libri erano ammucchiati nel massimo disordine confuso con atti di archivio e scaffali abbandonati e su di uno di questi d'intarsiato legno coi capitelli dorati, il sudiciume ascendeva una data preziosa: 1753. Seppi che il materiale librario proveniva dall'abolito convento dei Frati Riformati della chiesa dell'Addolorata". Ciò sta a dimostrare che la prima biblioteca è stata "istituita nel 1753". Dopo il riordino e la catalogazione del materiale librario, effettuato dallo stesso regio delegato con l'aiuto di un certo maestro Caroli e degli impiegati del Municipio, le raccolte librarie furono sistemate in una sala del vecchio Municipio. L'attuale sede è al centro del paese, in Corso Vittorio Emanuele II, nella chiesetta sconsacrata detta "Madonna delle Grazie" o "Cappaddhuzza" (ossia "Cappelluccia").

Molti anni fa, l'otto settembre di ogni anno, nella cappella si celebrava la festa della "Perdonanza" e nella zona si teneva un grande mercato. Si dice che in tale ricorrenza numerosi erano i fedeli che ivi accorrevano, molti i miracoli (guarigioni di storpi) ricevuti dalla Madonna e numerosi i mercanti che si recavano lì a vendere i loro prodotti. Per tale motivo il Signor Magnifico Nerone Mancino di Taviano propose di costruire una chiesa con le offerte dei fedeli. Ora è chiaro il motivo per cui, nei giorni 7 e 8 settembre, nelle vicinanze di tale luogo si tiene, ogni anno, la fiera-mercato detta "Cappeddha" dal nome "Cappaddhuzza".

Il tempio si presentava, all'origine, ad una sola navata con due porte; era coperta a lamia ed aveva un campanile. La costruzione di stile tardo barocco, costruita verso la fine del 1600, presenta ancora oggi, un portale sormontato da due caditoi e una finestra; ciò sta a significare che la chiesetta era fortificata, forse perché situata fuori dall'abitato. Questa chiesa, sconsacrata dopo il 1870, scorporata dai beni ecclesiastici ed incamerata dallo Stato, è passata al Comune che l'ha sempre utilizzata come deposito. Dal 1985, in seguito ad un radicale restauro, è stata adibita a sede della Biblioteca Comunale.