La Gibraltar Garrison Library fu fondata nel 1793 dal Capitano (in seguito Colonnello) Drinkwater, lo storico del Grande Assedio di Gibilterra, 1779-1783. Durante l'assedio, Drinkwater aveva "lamentato la mancanza di una biblioteca pubblica a Gibilterra". La biblioteca fu completata nel 1804 sotto il governo del Duca di Kent, il padre della regina Vittoria. Il bibliotecario dell'epoca era il Capitano Fyers (in seguito Maggior Generale) dei Ingegneri Reali, ma il suo ruolo nell'evoluzione della Biblioteca andò ben oltre, poiché era l'architetto e la forza trainante dietro l'edificio della Garrison Library come lo vediamo oggi.
La biblioteca fiorì come luogo di incontro per gli ufficiali della Guarnigione. Questa vecchia storia ci fornisce una chiara indicazione dello scopo della biblioteca come luogo di formazione e ricreazione. Una biblioteca era essenziale per i giovani ufficiali in formazione e ciò si riflette nelle raccolte che coprono una serie di settori come le scienze militari, le narrative di viaggio, i paesi e le culture mediterranee e le storie di paesi come l'India e l'Africa. La Gibraltar Garrison Library rimase una biblioteca militare fino al settembre 2011, quando fu consegnata al governo di Gibilterra.
apitolo ha completamente portato la biblioteca nel ventunesimo secolo. Recentemente il Festival Letterario Internazionale di Gibilterra ha selezionato la Garrison Library come suo epicentro, in cui scrittori e relatori di fama mondiale si riuniscono per alcuni giorni per eventi pubblici all'interno di questo edificio storico e in pochi altri in città.