В молодости Леопольд-Фердинанд хотел жениться на принцессе Эльвире Бурбонской, дочери претендента на испанский трон дона Карлоса, но император запретил ему даже думать об этом во избежание политических осложнений. После крушения надежд реализовать себя в высоких сферах эрцгерцог с горя связался с некой Вильгельминой Адамович (хотя примерно в это же время другая женщина родила от него ребенка), которая была занесена в «Книгу здоровья» венской полиции за уличную проституцию. «Книга здоровья» была учреждена в Вене в 1873 году полицмейстером Антоном фон Лемонье для учета женщин, «каковые профессионально занимаются развратом». Проституткам вменялось дважды в неделю проходить осмотр у врача. В 1911 году было внесено дополнение, что в случае обнаружения болезни их надлежало отправлять в больницу.
После скандала с наследником престола император отправил Леопольда-Фердинанда в заштатный полк в Брно, куда тот забрал с собой в качестве экономки Вильгельмину Адамович. Там эрцгерцог нанял ей преподавателей, занимавшихся ее образованием и обучением хорошим манерам. Помимо тяготения к женщинам с улицы, Леопольд-Фердинанд был еще и законченным алкоголиком, отчего его даже направляли на лечение в закрытую клинику. После скандала с сестрицей Луизой он запросил разрешение выйти из дома Габсбургов, о чем в декабре 1902 года и подал соответствующее прошение императору:
«Прошу ваше величество пожаловать мне соизволение отказаться от моего места и ранга и принять имя Леопольд Вёльфлинг».
Деньгами его теперь снабжал только отец, эрцгерцог Фердинанд Тосканский. После утряски всех финансовых вопросов Леопольду-Фердинанду разрешили выйти из семьи Габсбургов, но он не стал придерживаться договоренности о хранении молчания и частенько давал разоблачительные интервью о тайнах габсбурского двора.
В 1903 году обыватель Вёльфлинг женился на Вильгельмине Адамович. В 1907 году скандальный союз был расторгнут, и всего несколькими днями позднее Леопольд-Фердинанд вступил в брак с Марией-Магдаленой Риттер, которая также состояла на учете в «Книге здоровья». Это супружество продержалось до 1912 года, когда разжалованный эрцгерцог обосновался в среде сутенеров Мюнхена, торгуя прелестями своей новой спутницы жизни, уличной проститутки Марии Швайкхардт.
Как только разразилась Первая мировая война, подданный Вёльфлинг в порыве патриотизма попытался вернуться в австрийскую армию, но его, надо полагать, на основании сильно подорванного здоровья, туда не взяли. После падения монархии пришлось зарабатывать себе на жизнь. Леопольд-Фердинанд служил переводчиком, агентом отдела газетных объявлений, гидом по дворцам Хофбург и Шёнбрунн (видимо, его, небезосновательно, сочли экспертом в этой области) и даже продавцом сосисок. В 1933 году он еще раз повел к алтарю некую Клару-Гедвигу Павловски, на 30 лет моложе его. Но семейное счастье не продлилось долго: в 1935 году Леопольд-Фердинанд скончался в Берлине в полной нищете.
После крушения империи многие Габсбурги не только вступали в браки с особами намного ниже их по рождению, но впоследствии расторгали их и женились во второй и даже третий раз. Эрцгерцог Йозеф Фердинанд Сальватор (1872–1942), младший брат Леопольда-Фердинанда, смолоду проявил тяготение к простолюдинкам. Перед производством в подполковники его, в качестве наказания, перевели из Зальцбурга в Любляну, поскольку он в открытую с самыми серьезными намерениями ухаживал за дочерью городского чиновника. Говорили, что позднее эрцгерцог планировал жениться на дочери содержателя ресторана в Вене. Когда началась война, он служил на командных постах в армии, в частности, возглавил 4-ю армию, штаб которой располагался в Луцке на реке Стырь. Как писал один из современников, эрцгерцог перенес на фронт венскую жизнь с музыкой, шансонетками, выездами на охоту и обильными застольями со своими офицерами. «Разрывы артиллерийских обстрелов заглушались звуками музыки». Летом 1916 года его армия была разбита 8-й армией генерала Каледина в ходе Брусиловского прорыва. Эрцгерцог был снят с поста командующего «по состоянию здоровья» и назначен инспектором ВВС, поскольку всегда проявлял ярко выраженный интерес к воздухоплаванию.
После падения монархии жизнерадостный эрцгерцог в 1921 году женился на простолюдинке Розе Кальтенбруннер. В 1928 году супруги развелись, и в 1929 году Иосиф-Фердинанд вступил в брак с дворянкой Гертрудой Томанек Эдле фон Байерфельс. И эта невеста все равно была значительно ниже его статуса, зато на 30 лет моложе жениха. Видимо, он решил хотя бы на старости лет познать радости истинного семейного очага и потому обзавелся сыном и дочерью.