Las fortificaciones del interior y el perímetro del castillo Árabe (Moorish Castle) se construyeron en 1160 o algo antes. Sin embargo, fueron destruidas cuando los españoles reconquistaron Gibraltar, entre 1309 y 1333. La torre del Homenaje (Tower of Homage), su elemento principal, domina la ladera y todo el terreno que le separa de la ciudad de Gibraltar. Esta torre, que fue reconstruida, data de alrededor del año 1333 D. de C., fecha en la que Abu al-Hassan (Muley Hacén) tomó Gibraltar de manos de los españoles. En otra ocasión, el conde de Niebla atacó el castillo, pero fue capturado por los defensores de la ciudad, que descolgaron su cadáver desde las murallas en una barcina (una red para transportar paja).
La torre del Homenaje muestra con orgullo las heridas de guerra que le fueron infligidas durante los distintos asedios. En esta torre, un gobernador español resistió durante cinco meses los ataques del duque de Medina Sidonia, que trató de arrebatar Gibraltar a su propia soberana, la reina Isabel I de Castilla. En 1540, cientos de personas encontraron refugio dentro del castillo cuando los piratas turcos saquearon Gibraltar. Antiguamente, la parte inferior del castillo se extendía hasta la plaza de armas de la Casamata (Casemates Square), la Gran Batería (Grand Battery) y el muelle Viejo (Old mole). Es interesante observar que el patio del castillo Árabe sirvió de prisión hasta 2010.