В 1356 Рудольф IV одружився на Катерині Люксембургській (1342—1395), дочці Карла IV, імператора Священної Римської імперії. Не мав дітей.
Його молодші брати Альбрехт III і Леопольд III в 1379 р. уклали між собой угоду про разподіл володінь Габсбургів. Альбрехт III отримав герцогство Австрії, а Леопольд III став правителем Штирії, Каринтії, Країни, Тіролю і Передньої Австрії. В результаті цього виникли Альбертинська і Леопольдинська лінії Габсбургів.