En 1521, un convento franciscano que se había fundado en 1482 fue trasladado a este lugar, que más tarde, en 1711, se convertiría en la residencia de los gobernadores británicos. Cuando los cristianos tomaron el Peñón en 1462, varias órdenes religiosas se establecieron en Gibraltar. Hacia 1480, los franciscanos se instalaron en el área de lo que hoy se conoce como El Convento (The Convent). En 1531, Francisco de Madrid hizo una donación para la construcción de una capilla y una ampliación del antiguo convento. Poco después de la toma de Gibraltar por parte de los ejércitos británicos y holandesas en 1704, los frailes franciscanos abandonaron este lugar.
El edificio, que probablemente sufrió algunos daños leves durante la toma, quedó abandonado hasta 1728, cuando se readaptó para convertirse en el palacio del gobernador militar. El término Convento (en inglés, The Convent) se ha seguido utilizando para definir este lugar ininterrumpidamente desde que se construyera el primer convento en el siglo XV.
El asedio de 1727 causó muchos estragos al antiguo edificio, pero fue poco en comparación con los daños sufridos durante el Gran Asedio (1779-1783) a causa de los bombardeos por tierra y mar. Su rehabilitación más amplia comenzó después del Gran Asedio, pero las reformas más notables tuvieron lugar entre 1863 y 1864 bajo el mandato del teniente general sir William Codrington KCB, en aquel entonces gobernador. Este gobernador mandó reconstruir la sala de banquetes y fiestas (Banqueting Hall)y la fachada que daba a Main Street, que en aquella época era la puerta trasera del edificio y se reformó por completo para convertirse en la majestuosa entrada que actualmente podemos admirar.
La escalera principal junto a la entrada pertenece probablemente a esta gran rehabilitación. En 1951, el buque SS Bedenham explotó cargado de municiones en el puerto interior, pero a una distancia de apenas 360 yardas (330 ??metros). Tanto el Convento como su capilla sufrieron muchos daños, al igual que gran parte de Gibraltar. La sala de banquetes y fiestas (Banqueting Hall) sufrió daños irreparables en sus tres vidrieras (1863). Al igual que muchos otros edificios antiguos, el viejo Convento es objeto de numerosas leyendas, pero tal vez la más conocida sea la que narra la historia de la monja Alitea de Lucerna. Según la leyenda, se trata de una monja española a la que trasladaron a este monasterio para ejecutarla. El motivo fue había intentado fugarse con su amante, un monje. Finalmente, fue ejecutada bajo unas condiciones un tanto extrañas. Se cree que desde aquel momento se convirtió en el fantasma residente del Convento y pasó a ser conocida como The Grey Lady (llamada así, la Dama de gris, por el color de su hábito).