Matt og Grace møder hinanden på universitetet i New York, hvor de bor dør om dør på samme kollegie. Han studerer fotografi og drømmer om at blive en verdenskendt fotograf, hun studerer musik og drømmer om at spille cello i et af de store symfoniorkestre. I en rus af fester og lange nætter finder de hinanden og forelsker sig. De er uadskillelige. Indtil Matt får en praktikplads på National Geographic og rejser til Sydamerika. Da han kommer hjem igen, er Grace væk.
Femten år senere mødes de igen ved et tilfælde. Han står på perronen i undergrunden, og hun befinder sig i det tog, der netop er ved at forlade stationen. Matt, som altid har spekuleret på, hvad der blev af Grace, kan ikke få hende ud af hovedet, og han efterlyser hende i et opslag på Craigslist. Da de ved et lykketræf mødes igen, står det klart: Selvom der er gået femten år, er det, som om tiden har stået stille.
VI SOM ELSKEDE er en smuk og lidenskabelig fortælling om skæbnens luner og den helt store kærlighed.