Da Karen Wright vender hjem til sit barndomshjem, for at pleje sin svagelige far, er det med et tungt hjerte. Huset er stadig hjemsøgt af fortidens spøgelser, hendes fars lukkethed og hemmelighedskrÌmmeriet om baggrunden for hendes smukke mor Elizabeths død, som indtraf under tragiske omstÌndigheder ür forinden.
Under oprydning støder hun pü nogle falmende fotografier, samt et laset kÌrlighedsbrev poststemplet i Tyskland før krigen, adresseret til hendes mor fra en ukendt afsender. Karen har altid kÌmpet for at forstü sin generte og Ìngstelige mor, men indser nu, at hun kun kender halvdelen af historien. For det første, hedder hendes mor ikke engang Elizabeth og hendes grufulde historie begynder lÌnge før Karen var født. Den starter i 1941, i det besatte Berlin, hvor en ung kvinde ved navn Liese tvinges til at bÌre den gule stjerne.
Det ved kun vi er en smuk og gribende krigshistorie om familiehemmeligheder og de umulige valg, som vi mĂĽ trĂŚffe under frygtelige omstĂŚndigheder.