Даже воюя, император не оставлял своим вниманием прекрасный пол. Несмотря на любовь к королеве, у него было много амурных похождений, которые способствовали увеличению его потомства, причем о внебрачных детях Карл не забывал. В 1521 г., например, во время осады Турнэ Карл влюбился в прекрасную дочь ткача Катрин ван дер Гейнст, жившую в соседней деревне. Результатом этого пылкого увлечения стала дочь, которую он назвал Маргаритой и отдал на воспитание своим сестрам Маргарите Австрийской и Марии Венгерской. Они баловали племянницу и позаботились о ее образовании. В будущем под именем Маргариты Пармской ей пришлось сыграть определенную роль в Нидерландской революции, так как наследник Карла Филипп II сделал ее правительницей Нидерландов.
В сферу интересов Испании входили средиземноморские порты, поэтому военные действия император вел также в Италии и Северной Африке. Один из итальянских походов приобрел печальную известность. В мае 1527 г. войска Карла подошли к Риму. Большинство солдат были немецкими наемниками-лютеранами, которым давно не платили жалования. Они взбунтовались и безжалостно разграбили город. Ставшие известными факты вандализма потрясли Европу. В первый же день было убито 7 или 8 тысяч жителей, церкви и дворцы были разграблены, а католики-испанцы, стремясь выведать места, где спрятаны золото и драгоценности, подвергали пленников жестоким пыткам. Даже папе Клименту VIII пришлось перебраться в Болонью. Впрочем, с императором он быстро помирился: в конце июня 1529 г. ими был заключен Барселонский мирный договор, а незаконнорожденная дочь императора, уже известная нам Маргарита, была помолвлена с племянником папы Александром Медичи.
Идея «мировой христианской державы» в сознании Карла связывалась с католицизмом. Поэтому он стал главным врагом протестантов. Император боролся против ересей, видя в них преступления против божеской и человеческой духовной власти, причем использовал при этом грубое насилие. Особенно сильны были позиции протестантов в Нидерландах, где большая часть населения исповедовала лютеранство, кальвинизм или анабаптизм. Карл свирепо подавлял все эти течения. Он дал нидерландским епископам особые права инквизиторов для розыска и искоренения ересей и издал ряд специальных указов, которые назывались плакатами. Особенно жестоким был плакат 1550 г., который грозил смертной казнью всем, кто не исповедовал католицизм. Мужчинам отрубали голову мечом, а женщин закапывали живьем в землю. Широко практиковалось и сожжение на костре. Имущество еретиков и тех, кто не то что помогал, а просто был замечен в беседе с ними, конфисковывалось.
Войны Карла легли непосильным бременем на народы подвластных ему земель. Налоги постоянно увеличивались, а испанские войска вели себя в Нидерландах как завоеватели. Все это подготовило почву для Нидерландской революции, расхлебывать которую пришлось уже наследнику, Филиппу II. Однако несмотря ни на что, жители Нидерландов сохранили приверженность своему императору. В Генте, например, на Пятницком рынке уже после революции был воздвигнут памятник Карлу.
В апреле 1539 г. при рождении седьмого ребенка скончалась императрица Изабель. Это стало потрясением для императора. Силы постепенно стали оставлять его. А несколько военных неудач в борьбе с протестантами и гибель части испанского флота при высадке десанта в Алжире 25 октября 1541 г. сломили дух Карла. Так, распорядившись снять осаду Меца, он горестно воскликнул: «Счастье – развратная женщина: она ласкает только юношей!»
В 1546 г., будучи в Регенсбурге, состарившийся и угрюмый Карл V вновь испытал что-то похожее на любовь к молодой девушке Барбаре Бломберг. Уже после его отъезда она стала матерью последнего сына Карла, Жуана Австрийского, которому было суждено в будущем стать штатгальтером (наследником) Нидерландов. Мать Карла больше не интересовала, но за судьбой сына он следил, забрал его в Испанию и передал на воспитание некой донне Магдалине Уллоа, которая считала его побочным сыном мужа. Тайна раскрылась только после смерти императора, упомянувшего Жуана в завещании. Филипп II приказал привезти брата ко двору и воспитывал его вместе с собственным сыном.
Годы шли, и здоровье императора совсем расстроилось. Из-за подагры, мучившей его уже более 20 лет, Карл был не способен держаться в седле. Да и ходить он мог только опираясь на палку. Государственные дела не увлекали монарха. Он все больше посвящал время религиозному чтению. После долгих размышлений Карл 12 сентября 1555 г. в Брюсселе отрекся от престола.