In de zomer van 1940 bouwde de SS het fort uit tot een Auffanglager, om er mensen op te vangen en op te sluiten. In het kamp werden ruim 3.600 Joden, verzetsmensen en andere tegenstanders van het naziregime opgesloten en mishandeld. Daarbij vielen er ter plekke 301 dodelijke slachtoffers. Na Breendonk wachtte voor vele gevangenen een deportatie naar andere kampen in het oosten. Ongeveer de helft van de gevangenen van Breendonk heeft de oorlog niet overleefd. Na de bevrijding werden incivieken, of mensen die van collaboratie verdacht werden, opgesloten in het fort, tot het in 1947 een nationaal monument werd.
Tijdens de vier jaar waarin het fort als SS-gevangenis functioneerde, werd de aarden bedekking volledig afgegraven. Daardoor ziet het Fort van Breendonk er totaal anders uit dan de andere forten van de Antwerpse fortengordel. Vooral het platte gebouw heeft iets dreigends. De Duitse auteur W.G. Sebald vergeleek het fort met een krab.
Het Nationaal Gedenkteken van het Fort van Breendonk, sinds 2017 een onderdeel van het War Heritage Institute, is een van de beste bewaarde materiële overblijfselen van de nazigruwel tijdens de Tweede Wereldoorlog in België. Een bezoek blijft je altijd bij, van de kille slaapzalen en de werf voor dwangarbeid tot de folterkamer en de executieplaats. Deze site ademt de verschrikkingen die de gevangenen er ondergingen onder Duits bewind.
