Šis fortas – vienas iš keturių, pastatytų Anglijoje saugoti nuo prancūzų, kurių invazijos taip ir nebuvo.
Palmerstono fortai (arba Palmerston Follies) yra brangiausi įtvirtinimai, statyti taikos metu. Juos statė apie 20 metų, Viktorijos forto plotis – 61 metras. Pirmojo pasaulinio karo metais fortas trumpai buvo naudojamas kaip gynybos nuo povandeninių laivų postas, šeštą dešimtmetį ši veikla nutraukta, ir iki dešimto dešimtmečio fortas stovėjo tuščias. Tada dešimtą dešimtmetį forte įrengė prabangų viešbutį su 21 kambariu ir dviem sraigtasparnių aikštelėmis.
Finansinių sunkumų turintis H. Pooni visgi suprato, kad jam priklauso fortas ir, kai atvyko kreditoriai, jis užsidarė viduje. Iki 2009 m. fortas griuvo, jame nieko nevyko, niekas jo neremontavo. Galiausiai viešbutis buvo parduotas dar vienam agentui, dabar laukiama renovacijos ir galbūt – geresnių laikų.