Er zijn brieven van Isaac, die bevriend was met vele tachtigers en goed schreef, aan Jo bewaard. Ook haar dagboeken zijn er. Na 1894 werd het een relatie. Isaac bezocht Jo in haar pension in Villa Helma aan de Bussumse Koningslaan. 't Was toch heerlijk schreef ze in haar dagboek.
'Jo besefte dat dat de band die ze hadden nooit op een huwelijk zou uitlopen, wat wellicht toch anders zou zijn geweest als ze geen kind had gehad, schrijft Hans Luijten. En hij citeert haar dagboek:
'O dat heerlijke, gezellige - eigenlijk kale en leege atelier met zijn herinneringen! (...) we zaten samen in de stoel en speelden - ja 't is echt met elkaar spelen wat we doen. Toen bracht hij me naar huis- door het stille, grijze park (...) Ik heb nu een eind gemaakt aan het ongedecideerde van onze verhouding - ik wil niet langer met vuur spelen. Trouwen, daar is hij de man niet voor - o was ik vrij en onafhankelijk - hoe zou ik me aan hem geven - mooi jong lichaam, wat zou ik vrij en rein voor hem staan - geen egoïsme geen vervelende nasleep van alles...'.
Ze zet er een punt achter. Bracht toch nog soms bliksembezoekjes aan Isaac. Maar haar plichtsbesef jegens de Van Gogh-familie en haar zoontje weerhielden haar. En ze dacht nog veel aan Theo.
Het beeld van Jo als halve heilige blijkt goddank niet te kloppen.