Ångermanland, 1928. När Emil Eriksson förlorar sin fru tvingas han lämna barnen på ett barnhem tills han rett ut vem som ska ta hand om dem när han jobbar. Lyckligtvis träffar han Rut som kan hjälpa honom och snart blommar kärleken ut. Men det visar sig att kärlek inte räcker för ett lyckligt liv.
Tbc (tuberkulos), massarbetslöshet och fattigdom gör tillvaron riskfylld och dramatisk för familjen. Barnen går med trasor lindade runt fötterna. Kornmjölsgröt, potatis och rovor håller dem vid liv de första åren. När ekonomin sakta förbättras lurar krig runt hörnet. Familjen tvingas kämpa för att behålla sammanhållningen och ett uns av glädje.
"Därifrån vi komma" följer Emil, Rut och deras familj från 1928 till 1945. Det är en berättelse baserad på författarens egna farföräldrar och skildrar det händelserika familjelivet under mellankrigstiden och andra världskriget.