Pa-ta Shan-jen werd omstreeks 1625, wellicht in 1626, tegen het einde van de Ming-dynastie, in China geboren. Ook over de datum van zijn overlijden, 1705, bestaat twijfel. Het staat evenwel vast dat de schilder een hoge leeftijd heeft bereikt.
Toen hij nog geen twintig jaar oud was, nl. in 1644, voltooiden de barbaarse Manchu's (Chinees: Ch'ing) hun verovering van geheel China en brachten zo de Ming-dynastie ten val. Vele vaderlandslievende Chinese intellectuelen voelden de nederlaag van het 'Rijk van het Midden' zoals China heet, als een vernedering aan en pleegden zelfmoord. De vader van Pa-ta Shan-jen, die congenitaal stom was, en bekend stond als een voortreffelijk schilder en calligraaf, overleed in 1644, het jaar waarin de vreemde Manchu's hun dynastie vestigden. Wellicht heeft zijn smart om deze gebeurtenis zijn dood bespoedigd. Pa-ta Shan-jen zelf werd na de. dood van zijn vader, beweert men, eveneens door stomheid getroffen. De val van de Ming-dynastie en de dood van zijn vader schijnen het gebrek, dat hij in potentie had, te hebben verwerkelijkt.
Het relaas over de jaren na de dood van zijn vader verschilt van bron tot bron. De biograaf Shao Ch'ang-heng zegt dat de schilder onmiddellijk de boeddhistische monnikspij aannam en gedurende een twintigtal jaren onderricht verstrekte aan talrijke leerlingen. De biograaf Ch'eng Ting vermeldt dat hij een tiental jaren met vrouw en kinderen doorbracht. Omstreeks 1654 zou hij dan in een klooster getreden zijn als boeddhistische monnik. Dit laatste verslag lijkt het meest geloofwaardige, daar het weinig waarschijnlijk is dat Pa-ta Shan-jen, een bekend meester met vele leerlingen zou geweest zijn, als dat niet uit nog andere bronnen blijkt. Daarenboven mogen we vermoeden dat de schilder geen grondige kennis van de boeddhistische teksten bezat. Deze veronderstelling en zijn voortdurend buitenissig, af en toe zelfs gek gedrag, schijnen erop te wijzen dat het klooster voor hem weinig meer dan een toevluchtsoord is geweest. Het was niet ongewoon dat lieden die teleurgesteld waren over hun carrière als leek, of die niet bestand waren tegen het leven van een leek, zich het hoofdhaar lieten scheren. Niet zozeer een vurig geloof in het boeddhisme, als verlangen naar een tempel in de bergen, naar een leven zonder aardse verantwoordelijkheden, zette hem ertoe aan monnik te worden.