Mit einem Losentscheid fiel im Jahre 1687 n.C. Schwebheim dem Johann Ernst von Bibra zu. Mehr als 250 Jahre waren dann seine Nachkommen unter dem Namen von Bibra die Herren in Schwebheim. Der bedeutendste war wohl der Forscher Dr. Ernst von Bibra. Mit dem Wandel der Zeiten kam der Niedergang dieses Geschlechts derer von Bibra. Still erlosch der Name am Ende. Nur das alte Schloß erinnert noch an die vergangenen Zeiten der Herrschaft.