Gérard Lacase arrive au château de la Quartfourche, en Normandie, pour en consulter la bibliothèque dans le cadre de recherches pour une thèse en histoire. Il n'en a pas plus tôt franchi le seuil que l'étrange atmosphère de cette demeure le sollicite à la plus romanesque aventure. Il s'éprend d'un portrait. En vain ses hôtes, M. et Mme Floche, M. et Mme de Saint-Auréol s'efforcent-ils à tenir secrète une existence qui les déshonore. Celle que Gérard aime d'une curiosité irritée, c'est précisément leur nièce, leur fille, Isabelle de Saint-Auréol, la mère coupable de Casimir de Saint-Auréol, ce petit infirme dont les ébats maladroits et la prompte amitié ont seuls souri à Gérard, dans ce sombre château...