Die Gibraltarer Garrison Bibliothek (Garrison Library) wurde 1793 von dem Hauptmann (später Oberst) Drinkwater, dem Historiker der Großen Belagerung von Gibraltar, 1779-1783, gegründet. Drinkwater hatte sich während der Belagerung über das Fehlen einer öffentlichen Bibliothek in Gibraltar beklagt. Die Bibliothek wurde 1804 unter der Statthalterschaft des Herzogs von Kent, Königin Victorias Vater, beendet. Der Bibliothekar zu jener Zeit war Hauptmann Fyers (später Generalmajor) der Königlichen Ingenieure, aber seine Rolle bei der Entwicklung der Bibliothek ging weit darüber hinaus, da er Architekt und die treibende Kraft hinter dem Bau der Garrison Bibliothek, so wie wir sie heute kennen, war.
Die Bibliothek wurde zu einem Treffpunkt für die Offiziere der Garnison. Diese frühe Nutzung dieser zeigt deutlich, dass der Zweck der Bibliothek der eines Ortes für die Ausbildung und Freizeitgestaltung war. Eine Bibliothek war wesentlich für die Ausbildung junger Offiziere und das zeigt sich an den Sammlungen, die eine zahlreiche Auswahl an Fachbereichen wie Militärwissenschaften, Reiseberichte, die Mittelmeerländer und deren Kultur und die Geschichte von Ländern wie Indien und Afrika beinhaltet. Die Garrison Bibliothek in Gibraltar war bis zum September 2011 eine Militärbibliothek. Zu diesem Zeitpunkt übergab man die Bibliothek an die Regierung von Gibraltar.
Dieses neue Kapitel hat die Bibliothek erst wirklich ins einundzwanzigste Jahrhundert gebracht. Vor Kurzem wählte das Internationale Literaturfestival von Gibraltar die Garrison Library als seinen Hauptstandort. In diesem geschichtsträchtigen Gebäude und einigen anderen Standorten in der Stadt trafen sich Weltklasse-Autoren und -Redner für einige Tage und hielten öffentliche Veranstaltungen ab.