Der Ort Ludwigshöhe und damit auch seine Kirche sind relativ jung. Der ursprüngliche Ort Rudelsheim lag in den Rheinauen und wurde nach einer Flutkatastrophe 1819 größtenteils verlassen, die letzten Bewohner verlegten ihre Häuser 1830 an einen höhergelegenen Standort; die ursprüngliche Rudelsheimer Kirche fiel 1832 einem Brand zum Opfer. 1848 wurde im neuen Ort Ludwigshöhe die neue Kirche St. Vitus gebaut, die über dem Ort trohnt.