Le fortificazioni intorno al sito del castello moresco furono costruite per la prima volta nel 1160 o anche prima. Queste furono, tuttavia, distrutte quando gli spagnoli riconquistarono Gibilterra dal 1309 al 1333. La Torre dell’Omaggio, la sua caratteristica principale, domina la collina e l'approccio di terra verso Gibilterra. Una torre ricostruita risale principalmente al 1333 d.C., quando Abu'l Hassan riconquistò Gibilterra dagli spagnoli. In un'altra occasione, il conte di Niebla attaccò il castello, fu catturato dai difensori medievali e il suo corpo fu sospeso dalle mura in una barcina, una rete per trasportare la paglia.
The Tower of Homage mostra con orgoglio le cicatrici di battaglia inflitte durante i vari assedi. Qui un governatore spagnolo ha resistito cinque mesi contro il duca di Medina Sidonia, che ha conquistato Gibilterra dal suo stesso sovrano, la regina Isabella di Spagna. Nel 1540, centinaia di persone trovarono rifugio all'interno del castello quando i pirati turchi saccheggiarono Gibilterra. Il castello inferiore si estendeva fino a Casemates Square, la zona di Grand Battery e l'Old Mole. È interessante notare che il cortile del Castello Moresco è stato utilizzato come carcere fino al 2010.