Un couvent franciscain qui avait été fondé en 1482 a déménagé à cet endroit en 1521 et, est ensuite devenu la résidence des Gouverneurs britanniques en 1711. Lorsque les chrétiens ont pris le Rocher en 1462, plusieurs ordres religieux se sont installés à Gibraltar. Vers 1480, les pères franciscains ont pris résidence dans le lieu qui s’appelle de nos jours le Couvent (The Convent). En 1531, Francisco de Madrid fit une donation pour la construction d’une chapelle et pour un agrandissement considérable de l’ancien Couvent. Peu de temps après la prise de Gibraltar par les Forces britanniques et néerlandaises en 1704, les frères franciscains partirent.
Le bâtiment, qui a dû être légèrement endommagé pendant la prise, est resté abandonné jusqu’en 1728 lorsqu’il est devenu le palais du Gouverneur militaire. Le nom ‘Couvent’, de l’espagnol « Convento » (utilisé en espagnol à la fois pour les monastères et les couvents) a été utilisé de façon presque continue depuis le premier couvent au XVème siècle.
Le siège de 1727 a causé beaucoup de dégâts à l’ancien bâtiment mais rien en comparaison des graves dommages subis lors du Grand Siège (1779/83) par les bombardements de l’ennemi venus par la terre et la mer. Sa plus grande restauration a sans doute commencé après le Grand Siège mais les plus grandes transformations ont été faites entre 1863 et 1864 sous le mandat du Lieutenant Général Sir William Codrington KCB, alors Gouverneur. Ce Gouverneur a fait reconstruire la salle des banquets et la façade qui donnait sur Main Street, qui à l’époque était la porte de derrière du bâtiment. Cette porte a été rénovée et est devenue la majestueuse nouvelle entrée que nous pouvons admirer de nos jours.
L’escalier principal de l’entrée fait probablement partie de cette rénovation. En 1951, le navire SS « Bedenham » a explosé rempli de munitions dans le port intérieur, mais seulement à une distance de 320 mètres. Le Couvent et sa chapelle ont subi de graves dommages, tout comme Gibraltar. La salle des banquets a subi des dommages irréparables à ses trois vitraux (1863). Comme beaucoup de bâtiments anciens, l’ancien Couvent soulève une légende ou deux, mais la plus connue est celle d’une sœur espagnole qui a été transférée à ce monastère afin de l’exécuter pour avoir tenté de s’enfuir avec son amour, un moine. Elle a finalement été exécutée dans des conditions assez étranges. Ainsi, elle est devenue le fantôme qui réside au Couvent, appelée la Dame Grise (The Grey Lady).