Dat de aanduiding 'moderne kunst' hier slaat op de kunst van zowel de negentiende als de twintigste eeuw, heeft te maken met de geschiedenis van deze verzameling; een geschiedenis die vanzelfsprekend niet los staat van de historie van het hele Haags Gemeentemuseum, waarvan deze verzameling één van de onderafdelingen is. In het midden van de vorige eeuw ontstonden in verschillende Nederlandse steden initiatieven tot de oprichting van plaatselijke musea. Den Haag bleef niet achter.
In 1851 werd een vereniging in het leven geroepen, die zich ging bezig houden met het verzamelen van voorwerpen die betrekking hebben op de geschiedenis van de stad Den Haag. Men streefde er naar om deze onder te brengen in een museum.
Vijftien jaar later - in 1866 - ontstond er een vereniging, die een museale verzameling van hedendaagse Nederlandse kunst voor de gemeente Den Haag wilde bijeenbrengen. Men kocht werken van de toen in zwang zijnde romantiek en de nieuwe landschapskunst van de Haagse school.
Nadat enige jaren twee zalen in het Raadhuis voor beide collecties als expositieruimte gediend hadden, stelde de gemeente in 1871 een pand in het centrum van de stad als museum beschikbaar en plaatste daarin zowel de historische verzameling als de kunstcollectie. Het was de eerste eigen behuizing van het gemeentemuseum. In 1884 verhuisde het museum naar de voormalige Doelen van het St. Sebastiaansgilde langs de vijver vlakbij het Mauritshuis.
Door aankopen, schenkingen en legaten groeiden de collecties snel. In 1904 ontstond er bovendien nog een derde afdeling. Mr. van den Berg legateerde een unieke collectie Delfts aardewerk en dit werd het begin van de huidige afdeling Oude kunstnijverheid.
Door de groei van het museum werd de behuizing steeds minder geschikt. Men begon te denken aan een nieuw te bouwen museum. Geallarmeerd door het feit dat door het ruimtegebrek een belangrijk legaat was ontgaan, stelde de gemeente in 1910 een commissie aan voor het bestuderen van het Haagse museumvraagstuk.
Een oplossing zou niet door deze commissie maar door Dr. H.E. Van Gelder worden gebracht, nadat hij in 1912 tot directeur van het Gemeentemuseum was benoemd. Van Gelder stelde dat een gemeentelijk museum er niet in de eerste plaats is voor de vakgeleerden, maar voor de bewoners, de burgers van de stad. De gemeentelijke overheid heeft hier een taak te vervullen, die niet alleen van particulier initiatief afhankelijk kan zijn. Deze taak betrekt zich bovendien niet slechts op het gebied van de kunst, maar ook op alle takken van de wetenschap.