De relatie tussen Henk en Nel was goed, al konden er ook enorme ruzies zijn. Nel bleef dan heel kalm, Henk niet, die ging totaal door het lint en smeet met dingen. Meestal zagen de kinderen zo'n uitbarsting wel aankomen en dan zorgden ze ervoor dat ze uit de buurt waren, maar als de ruzie aan tafel was, ging dat niet. Friso schrok altijd wel van die uitbarstingen, hoewel hij er op den duur ook gewend aan raakte. Zijn moeder wist er echter wel mee om te gaan, ze ging "op de hoge koninginnetoer" en deed alsof ze niets hoorde.
Bij de tafel hing een schilderij van Permeke, een groot expressionistisch doek van een zeug met biggen. Daar kwamen alle soorten eten tegenaan, tot appelmoes aan toe. Niemand deed daar echter dramatisch over, kunst hoorde erbij. Het meisje maakte de boel schoon of het een gebruiksvoorwerp was en soms wás het dat ook. Zo had het gezin naast de tafel een kubistische tors van Zadkine staan van hard steen. Het ding had een afgeplatte bovenkant en stond bovendien pal naast het stopcontact dus daar plaatsten de kinderen altijd de broodrooster op. Maar als Zadkine op bezoek was, mocht dat natuurlijk niet van Nel, die meer oog had voor decorum.

In 1929 vertrok Friso's grootvader uit Lith om zich eerst in Heerewaarden en uiteindelijk in Zeist te vestigen. Henk had weinig contact met zijn vader, maar zodra hij in 1931 hoorde dat deze op sterven lag, nam hij zoon Friso mee naar hem toe. Dit soort plotselinge initiatieven had Henk wel vaker. Pieter herinnerde zich hoe op een dag de veldwachter voor de deur stond. Er was een moord gepleegd. Henk nam zijn zoon mee naar café De Zwaan en constateerde inderdaad de dood bij het slachtoffer. Op de biljarttafel werd vervolgens sectie verricht. Een andere maal werd hij meegenomen om getuige te zijn van een bevalling bij boeren thuis.
Maar deze keer was het Friso die mee moest, waarschijnlijk omdat hij net toevallig in de buurt liep, toen pa wilde vertrekken.
Friso: "En toen... Een verwilderde man in bed, met allemaal baarden en snorren, helemaal rood en met een basstem: Zo Hendrik, zij gij daar dan! Ik schrok me dood en gelukkig nam zijn vrouw, zijn derde, want Anna was ook al overleden, me mee naar de keuken."
Na zijn dood werd de begrafenis geregeld door zijn zoon Gerrit, die oogarts was in Breda. Grootvader wilde in Lith begraven worden en niet bij zijn vader en broer Jaap in Heerewaarden. "Dan ligt er op de dag van wederopstanding in ieder geval nog een rivier tussen ons in," was de verklaring die hij van tevoren had gegeven.

Henk vertelde overigens soms verhalen over zijn vader aan zijn zoons, al kreeg deze steeds meer autobiografische trekjes. In 1933 hoorde Anton Coolen enkele van die verhalen, waarna deze dermate geïnspireerd raakte dat hij meer wilde weten zodat hij een boek kon schrijven over dat materiaal. Zodoende kwam hij vele avonden langs en vertelde Henk verhalen over zijn vader. Een der beroemde verhalen was dat Jacob ooit van ijsschots op ijsschots sprong om aan de overkant van de rivier een bevallende vrouw te helpen.
De kinderen van Coolen waren overigens dermate onder de indruk van de dokter dat ze speelden dat zíj diens zonen waren, de één Pieter en de ander Friso. Niet dat de laatste dit ook geweten heeft.
Friso: "En dat is maar goed ook, anders waren we er waarachtig nog door over het paard getild geworden."
In 1934 kwam het boek uit, Wiegersma was Tjerk van Taeke geworden, een man van weinig woorden, die - vaak het hoogtepunt in het boek genoemd - over het ijs van de bevroren Maas loopt om aan de overzijde een bevalling te verrichten.
Henk illustreerde de eerste druk met penseeltekeningen en houtsneden, bovendien ontwierp hij de band van het boek. Het werd een groot succes, er werden honderdduizenden exemplaren verkocht en later werd het verfilmd door Fons Rademakers. Uiteraard was er ook kritiek op het boek, vooral de medische sector veroordeelde de breedsprakige dokter, niet wetende dat alles door een echte dokter was verteld.
Kees Fens, die in zijn jeugd Henk Wiegersma nog als non-conformistische dokter bezig zag, vond hem wel erg lijken op Tjerk, zodat het duidelijk werd dat deze zijn vader naar zijn eigen beeld had geschapen.
Soms wensten de kinderen ook wel dat hun vader wat gewoner was, omdat hij het gebrek aan contact onbewust wel miste. Want vader ging zich gaandeweg steeds meer naar de roem gedragen, zodanig zelfs dat de kinderen soms spottend tegen elkaar zeiden: "Wat is vader vandaag weer legendarisch."

Henk had het niet zo op de macht van de katholieke kerk, die in zijn idee misbruikt werd om 'zijn' patiënten als konijnen te laten broeden, zodat er misstanden ontstonden waarbij de ouders maar liefst twintig kinderen op aardappelen moesten grootbrengen. Friso herinnerde zich dat hij in de klas zat met een jongen uit een gezin van 21, waarbij de ouders hun kinderen tenslotte maar Jan 1 en Jan 2 gingen noemen.
Eenmaal riep Henk hardop in de kerk dat het "allemaal gelul" was. De pastoors waren hem liever kwijt dat rijk, maar omdat Henk zo goed was in bevallingen, wilden vooral de vrouwen in Deurne hun dokter niet kwijt. En dus de pastoors ook niet, elke baby was weer een nieuw zieltje voor de kerk tenslotte.
Later maakt Henk ook spotprenten waarin hij de clerus en hun handelen scherp aan de kaak stelde. Het resulteerde in een wederzijds woedende correspondentie tussen de bisschop van Den Bosch en Henk. Onderwijl mocht zoon Pieter de spotprenten met de hand inkleuren, waar hij vijf cent voor iedere tien stuks kreeg.
Henk was duidelijk antiklerikaal, maar dat ging niet zo ver dat hij de pastoors niet met eerbied behandelde. Zo kregen ze nog steeds voorrang in de praktijk, ze behoefden niet in de wachtkamer te zitten doch mochten in de studeerkamer plaatsnemen. Aan de andere kant hing er ook een zwarte lijst in de wachtkamer met namen van pastoors die de toegang waren ontzegd.
Henk zijn oudste twee kinderen naar de kostschool Rolduc, waar hij zelf nota bene was afgestuurd. Pieter sprak dermate plat Deurnes dat hij een jaar verloor omdat hij eerst Nederlands moest leren. Hij haatte het oord en was vaker bezig met strafregels schrijven dan met sport of leren. Twee jaar later, in 1936, kwam ook Wieger naar de gehate school toe. Toen deze bij de eerste bel 's morgens niet onmiddellijk uit bed kwam, werd hij zo geslagen door de prefect dat hij afgerammeld in de kerk verscheen voor de mis. Zijn oudere broers Jaap en Pieter zagen Wieger met bloederige lap voor zijn oog en kwamen meteen de kerkbanken uit. Nadat Wieger verteld had wat er was gebeurd, gingen de broers naar de kamer van de prefect.
"Ik eerst," zei Jaap, waarna hij de deur opengooide en de man vloerde. Hij sloeg hem met beide vuisten op zijn bek en liet het toen aan Pieter over: "Nou jij." Tenslotte gaf Wieger hem met vlakke hand een klap in het gezicht. "Lafaard!"
Het drietal ging naar de portiersloge en vroeg Sjang om hun vader in Deurne te bellen. Deze kwam onmiddellijk in zijn witte ford. De directeur besloot dat de drie broers van school verwijderd moesten worden, maar vader kon zich daar niet over opwinden. Hij was woedend over het oog van Wieger, schold de prefect uit voor laffe hond en zei dat zulke mishandeling strafbaar was. In de auto verzuchtte hij: "Ik had het kunnen weten. Ik ben er vroeger om dezelfde reden afgetrapt. De directeur een klap verkocht."
Friso was elf jaar toen zijn broers thuiskwamen en wist vanaf dat moment dat hij niet naar Rolduc zou gaan.

Tijdens de oorlog had Henk geen exposities, hij was samen met zijn zoons Jaap en Pieter actief in het verzet. Hij had veel contacten om onderduikers te kunnen helpen en zorgde er ook voor dat mensen naar Engeland konden vluchten. Zo verbleef een engelandvaarder een tijd bij hun thuis, hij sliep bij broer Jaap op de kamer met het grote balkon.
Hiervoor werden Henk en zoon Pieter na een doorzoeking van De Wieger op 25 maart 1941 gearresteerd, waarna ze in de Koepelgevangenis van Breda terecht kwamen. In De Wieger werd naar wapens gezocht, maar gelukkig niets gevonden. Omdat veel patiënten aan Seys Inquart schreven of ze alsjeblieft hun dokter terug mochten, werd Henk na twee weken vrijgelaten, maar zijn zoon werd nog een tijd vastgehouden.

Het gezin kreeg in augustus 1941 een familiedrama te verwerken, want zoon Wieger, achttien jaar oud, altijd zeer actief, (soms fietste hij rondjes om het huis tot hij erbij neerviel) maakte een kanotocht in de Biesbosch vlakbij Werkendam. De jongen had blijkbaar een zwak hart, want hij sloeg om, kreeg een hartaanval van de schrik en verdronk. Van heinde en verre kwamen vrienden en bekenden de jongen in Deurne begraven.

Enkele jaren later werd het eerste kleinkind van Henk, Wieger van drie jaar oud, voor zijn ogen overreden. Het kind stierf, zodat er een vloek op de naam Wieger scheen te rusten. Henk kocht vervolgens een stuk grond aan dat bij de gemeente Vlierden hoorde, 'Het Ven' geheten, later ook wel Het Wiegerbos genoemd. Hij bracht een omheining aan en herschiep het geheel tot een begraafplaats. In het midden van het bos liet hij een ronde vijver graven waarin hij een zuil optrok met de ontroerende tekst Samen in Liefde luisteren naar de Stilte.

Met het werk van Hendrik ging het ook minder goed. Tussen 13-12-47 en 4-1-48 had hij nog een tentoonstelling in Bonnefanten in Maastricht en in 1950 doet hij opnieuw mee aan de Biënnale Venetië.
Maar zijn werk begon steeds meer in de vergetelheid te raken nu de toon werd gezet door de Cobra-beweging. Henk had daar veel moeite mee en vernietigde zelfs vele van zijn werken.
Friso: " Hij was er helemaal uit, hij voelde zich afgesneden en geïsoleerd van zijn vroegere kunstenaarskringen."
Maar ter gelegenheid van zijn zestigste verjaardag kreeg Henk nog een tentoonstelling in het Stedelijk museum in Amsterdam.

Eind juli 1962 vierde Nel haar zeventigste verjaardag. Het echtpaar ging naar Edinburgh, Schotland om de meren te bewonderen en om een tentoonstelling over Johannes Vermeer te zien. Op zeven augustus overleed zij aldaar onverwachts aan een hartinfarct. Hendrik bleef alleen op de Wieger wonen. Hij deed de praktijk over aan zijn zoon Jaap, die hij met advies terzijde stond, en hield enkel nog een kort spreekuur voor zieken die nergens anders terecht konden.
Hij had het zeer zwaar met het verlies van zijn vrouw en schilderde voornamelijk nog portretten van haar. Bovendien zorgde hij erg slecht voor zichzelf.
Daarna ging het slechter met de Henk. Hij kreeg prostaatkanker, maar dat werd pas laat ontdekt. Hij was echter wel met de dood bezig en maakte een nieuw testament waarin hij liet vastleggen dat het huis De Wieger, als geen van de zonen er zou gaan wonen, afgebroken zou moeten worden tot en met de fundamenten.
Daarnaast was hij ook nog anti-geloof geworden. Hij wilde op zijn eigen kerkhofje begraven worden, in de allergoedkoopste kist, er mocht geen enkele advertentie in de krant en er mocht vooral bij het graf niet gebeden worden. Hij moest in de kortst mogelijke tijd in de grond gestopt worden.
Toen Friso hem bezocht, wilde Henk ineens het dorp weer zien, dat hij al tijden de rug had toegekeerd. Friso reed echter snel mis en zo zag hij zijn eigen vader verdwalen in de nieuwbouw van Deurne

Op eerste paasdag, 6 april 1969 overleed Hendrik Wiegersma. Hij werd begraven op het kerkhof te Vlierden naast zijn vrouw. Op zijn uitdrukkelijke wens waren enkel zijn vier zonen aanwezig met daarnaast Leo van de Zwaan, de tuinman-chauffeur en pater Kees Strijbosch die tevens een neef van Henk was.