Hong-Kong, 1962. M. Chow et Mme Chan emménagent le même jour très près l'un de l'autre. Sans savoir comment cela a commencé, tous deux découvrent que leurs époux respectifs ont une liaison. N'osant leur en parler, eux-même continuent à se fréquenter, en tout bien tout honneur. Mais peu à peu, M. Chow commence à éprouver des sentiments pour Mme Chan.