Последняя поездка по Европе и по Италии в частности (где ему, по слухам, выделили огромную сумму для продолжения путешествия) повлияла на графа не только в плане моды и искусства, но и в плане религии. Его неприятности при дворе были связаны и с религиозными взглядами тоже. Партия тайных приверженцев католицизма пополнилась еще одним членом, пусть и весьма неблагонадежным. Граф Лейстер сделал все возможное, чтобы заставить Оксфорда уйти из лагеря сторонников французского брака. Де Вер был напуган и с готовностью «сдал» Тайному Совету двоих своих друзей, обвиняя их в приверженности католической вере и соответствующей тайной деятельности. Этот поступок обернулся против самого Оксфорда – друзья обладали такой информацией о графе, что при ее раскрытии он бы точно попал в Тауэр сам. Среди обвинений, в том числе, перечислялось следующее: атеизм (что приравнивалось к измене королеве как главе церкви), ересь, убийства, беспробудное пьянство. И, о Боже, он смел даже говорить о том, что королева плохо поет! Позже Оксфорд не раз обвинял бывших друзей в предательстве и сумел все-таки одному из них отомстить, свидетельствуя против него в Тайном Совете.
В 1581 году Оксфорд сам попал ненадолго в Тауэр, так как фрейлина королевы родила от него внебрачного сына. Фрейлину и ребенка тоже поместили в темницу. Женщину звали Анна Вавасор. Ей приписывается две поэмы. Одна из них – «Эхо Анны Вавазур». Считается, обе поэмы написаны либо графом Оксфордом, либо совместно обоими любовниками.
Неизвестно точно, вышла ли поэма из-под пера графа, но она явно слабее других приписываемых ему произведений.
К концу 1581 года, несмотря на родившегося у него внебрачного сына, граф воссоединился с женой. Но последствия связи с Вавасор позже давали о себе знать. Дядя любовницы несколько раз нападал на Оксфорда на улицах города, нанося ему серьезные ранения. А в 1585 году ее брат отправил графу официальное письмо, вызывая его на дуэль. Правда, граф письмо проигнорировал.
С 1581 по 1583 год де Вер не имел права появляться при дворе. Эти годы нельзя назвать счастливыми для графа не только из-за нападений на него со стороны родственников бывшей любовницы. В 1583 году жена родила Эдварду сына, который умер в день своего рождения. Лорд Берли попытался восстановить положение зятя при дворе. Королева согласилась позволить графу Оксфорду появляться пред ее очами. Однако его положение уже никогда не будет сколько-нибудь выдающимся…
У графа в 1584 году родилась дочь, но финансовые дела Оксфорда лишь ухудшались, и к этому моменту он распродал практически все, что унаследовал от отца, лишившись стабильного дохода. В связи с бедственным положением зятя лорд Берли продолжал одалживать де Веру большие суммы денег, а королева согласилась выделить ему ежегодное обеспечение, которое в дальнейшем выплачивалось и королем Яковом. В 1587 году рождается третья дочка, фактически являвшаяся четвертой (третья дочь была похоронена в раннем возрасте, сведений о дате ее рождения не сохранилось).
Летом 1588 года Анна умерла, оставив после себя трех дочерей, которые поселились в доме ее отца, где получили прекрасное образование, а позже удачно вышли замуж. Граф после смерти жены продолжал бороться с долгами, которые никак не желали исчезать из его жизни. От участия в защите порта Гарвич во время противостояния Англии испанской Армаде де Вер отказался и в других сражениях никак не участвовал.
В конце 1591 года Оксфорд женился вторично, пытаясь упрочить свое материальное положение. Его женой стала фрейлина королевы Элизабет Трентам. Отец девушки пользовался огромным доверием со стороны королевы. Он являлся ярым протестантом, человеком, которому в 1586 году доверили сопровождать опальную Марию Стюарт в замок Фотерингей, где над ней состоялся суд, а затем и казнь. Отец Елизаветы умер в 1587 году, оставив ей приличное наследство. В течение десяти лет девушка являлась фрейлиной королевы, видимо, находясь с ней в весьма неплохих отношениях. При дворе Елизавета считалась красавицей. Впрочем, дурнушек возле себя королева предпочитала не держать. Она сделала своей фрейлине свадебный подарок, благословив, таким образом, ее брак. В 1593 году в этом браке у пары родился сын Генри, ставший впоследствии восемнадцатым графом Оксфордом.