Det var ikke en ønskelig situation for en 16-årig pige at blive gravid. Besøget hos lægen medførte ikke den ønskede abort. Som et uønsket barn kom Jimmy Gørtz til verden den 13. december 1959. Tidligt i sit liv oplevede han sin fars voldelige temperament i form af fysisk vold. Som 8-årig blev han anbragt med sine to mindre søskende på børnehjem. Moderen overlod forældremyndigheden over Jimmy og hans lillebror til deres far, den voldelige og alkoholiske mand, hun selv var flygtet fra. I kampen for at beskytte sin lillebror blev Jimmy udsat for fysisk og psykisk tortur fra sin far. Det blev så voldsomt, at han som 11-årig forsøgte at tage sit eget liv. Som 11-årig blev han indlagt til observation for eventuelle hjerneskader på grund af den fysiske vold. Volden stoppede først, da han som 15-årig slog sin far for at beskytte sin lillebror.