L'action se situe dans les premières années du XIXe siècle. Silas Marner, tisserand, fait partie d'une petite congrégation calviniste à Lantern Yard, dans un faubourg déshérité d'une ville du nord de l'Angleterre. Il est accusé à tort d'avoir volé l'argent de la congrégation pendant qu'il veillait le diacre, gravement malade. Deux indices accusent Silas : un couteau de poche, et la découverte à son domicile du sac ayant contenu l'argent. Tout semble indiquer que Silas a été joué par son meilleur ami, William Dane, à qui il avait prêté son couteau peu avant le vol. Condamné, Silas se voit rejeté par la femme qui lui était promise, laquelle épousera William Dane. Le cœur brisé et sa vie en morceaux, Silas décide de quitter la ville.