Este baluarte recibe este nombre en honor al rey de Inglaterra, Guillermo III, también conocido como Guillermo de Orange, príncipe soberano de Orange desde su nacimiento. Fue reconstruido por los británicos en el sitio donde se alzaba un antiguo bastión español de mayor tamaño a lo largo de la muralla de La Línea (Line Wall Curtain). En 1758, el flanco principal del baluarte contenía seis cañones destinados a defender el muelle Viejo (Old Mole) disparando hacia los barcos que se encontraban a 600-700 yardas (550-640 m) de distancia.
Durante el Gran Asedio de Gibraltar, el baluarte fue rediseñado y ampliado para convertirse en un semibaluarte. En la década de 1790, sir William Green supervisó las mejoras a las defensas de Gibraltar, hizo ampliar los baluartes de Orange y Montagu y también organizó la construcción de una contraguardia frente a ellos como defensa adicional. Esta contraguardia de 1823, que originalmente se llamó contraguardia de Orange (Orange Counterguard), más tarde fue rebautizada como contraguardia de Chatham (Chatman Counterguard) en honor al conde de Chatham, que fue gobernador de Gibraltar desde 1821. Durante la Segunda Guerra Mundial, se instaló un cañón Bofors de 40 mm en el baluarte de Orange (Orange Bastion).