Das erste dieser Tore wurde 1843 für den Zugang von Fußgängern gebaut. 1736 baute das Bauunternehmen des Proviantbüros der Marine eine mehr als 100 Meter lange Anlegestelle, auf die man durch eine Reihe an Steinstufen und eine Zugbrücke gelangen konnte. Es gibt viele Theorien über den Ursprung des Namens, von denen aber keine nachgewiesen werden konnte. Eine dieser Theorien besagt, dass Ragged Staff die Dienstmarke des Kaisers Karl V. war, eine andere, dass der Name von der groben Verarbeitung des Originalwerks stammt, wobei sich staff auf Zement oder anderes Baumaterial beziehen kann. Der Generalmajor Sir John Jones beschrieb 1841 den Bereich als „einen krankheitserregenden Ort... der mit seiner extrem unmilitärischen Erscheinung sowie seinem scheinbar schutzlosen Zustand einen voller Verwunderung erfüllt...”. Eine andere Theorie besagt, dass er nach einer Art von Winde benannt wurde, die man beim Bau der Mauer verwendet hatte. Diese Tore in ihrem heutigen Zustand durchbrechen die Mauer an einem Ort, der früher als Ragged Staff Couvreport bekannt war.