När Karen Cartwright oväntat kallas hem för att ta hand om sin sjuke far så återvänder hon till föräldrahemmet med ett tungt hjärta. Huset är hemsökt av minnen och hennes fars ovilja att prata om Karens mor Elizabeths tragiska död många år tidigare. Men medan Karen städar bland familjens saker hittar hon ett gammalt fotografi och ett kärleksbrev till modern, poststämplat i Tyskland efter kriget.
Karen försökte alltid förgäves förstå sin blyga, undflyende mamma och det blir nu uppenbart att Elizabeth hade en historia hon aldrig delade med sin dotter. Till att börja med var hennes namn inte ens Elizabeth, och hennes gripande livsöde tog sin början långt tidigare innan Karen ens var född. Allt börjar med en ung kvinna som heter Liese och som tvingas bära en gul stjärna på sina kläder. ”Bara vi vet” är en oförglömlig och drabbande berättelse i andra världskrigets skugga.