Вернемся же к браку с дочкой лорда Берли. В означенном 1571 году им как раз и был получен титул лорда. До того Берли звался «попросту» Уильямом Сесилом, а тут – лорд. Некоторое несоответствие, возникшее в статусах, подвигло лорда на поиски более подходящей партии для дочери – в списке женихов стоял граф Рэтлер. Тем не менее, в декабре 1571 года свадьба между дочерью новоявленного лорда и графом Оксфордом состоялась. Дочь лорда Берли считалась девушкой начитанной, знала французский, итальянский и латынь. Скорее всего, Анна выходила замуж по любви, чего нельзя сказать об Оксфорде. Свадьбу играли пышную, в присутствии королевы. Лорд дал в качестве приданого приличную сумму – как раз, чтобы хватило оплатить долги короне. Деньги так и не были использованы де Вером по назначению.
Несмотря на выгодную женитьбу, неприятности поджидали Оксфорда на каждом шагу. Как и его противников, конкурентов в борьбе за королевские милости, графа настигали злосчастья, связанные с вероисповеданием, и масла в огонь он волей или неволей подливал сам. Например, в 1572 году ближайший родственник графа герцог Норфолкский был обвинен в заговоре католиков против королевы. Оксфорд пытался заступиться за кузена, но попал в еще большую немилость. Долги казне тоже не уменьшались, а напротив, росли. В итоге в 1574 году граф отправился на континент. Так как в тот момент ждали всяческих пакостей со стороны Марии Стюарт, шотландской королевы, то Оксфорда тут же обвинили в пособничестве и велели вернуться обратно. Де Вер повиновался, но, несмотря на полученное от королевы прощение, места в Тайном Совете не получил.
В начале следующего года де Вер отправился все-таки путешествовать по Европе. Кое-как уговорив Елизавету позволить ему уехать, граф получил не только разрешение, но даже сопроводительные бумаги. Во Франции Эдварда настигла новость о беременности его жены Анны. То ли непростой характер сыграл роль, то ли плохое настроение, но граф, начавший было отправлять жене подарки, быстро переменил свое мнение. Он решил, что ребенок не от него. В итоге, несмотря на гнев лорда Берли, Оксфорд отсутствовал в Англии до апреля 1576 года. Ребенок родился в его отсутствие в июле 1575 года, а узнал он об этом лишь в сентябре. Возвращение в Англию не стало для графа меньшим испытанием: его корабль попал в руки пиратам, обчистившим Оксфорда до нитки, а ведь долги короне никуда не делись. Впрочем, из путешествий, особенно по Италии, де Вер привез много, и в первую очередь то, что нельзя измерить деньгами – влияние культуры, искусства, моды… При дворе его называли «Итальянский граф».
Прибыв в родные края, Оксфорд продолжал настаивать на своем: он не вернулся к жене, а поселился в одном из зданий на Стрэнде. Де Вер не признавал дочь и осыпал семью лорда Берли проклятиями. При дворе его жена появлялась только в отсутствие графа, а если и виделась с ним, то не имела права начинать беседу. Подобное положение длилось пять лет.
К 1577 году граф продал несколько своих земельных владений, чтобы расплатиться с частью долгов короне. Однако кроме выплаты долгов, он потратил деньги и на иное предприятие. Оксфорд вложил средства во второе и третье путешествия Фробишера в поисках золота в Новый Свет. Важно отметить, что даже сама королева за казенный счет снарядила один из кораблей. Привезенная из первой поездки «золотая руда», считалось, действительно содержит крупицы золота, поэтому вторая и третья экспедиции проводились по благословению Елизаветы. Но когда Фробишер вернулся в Англию осенью 1578 года, окончательные исследования установили, что никакого золота в привезенных камнях нет. А граф Оксфорд потерял все вложенные в кампанию деньги.
В 1579 году продолжались переговоры по поводу женитьбы брата французского короля на английской королеве. При дворе сформировалось два лагеря: первый выступал за данный альянс, второй, соответственно, против. Среди тех, кто выступал «за», был граф Оксфорд. Среди противников – лорд Берли, граф Лейстер, Филипп Сидни. Оксфорд, не становившийся с годами спокойнее и рассудительнее, летом 1579 года обменялся с Сидни резкостями, заставив Филиппа вызвать его на дуэль. Дело попытались замять с помощью самых высокопоставленных особ, включая королеву. Тем не менее, граф Оксфорд не оставлял попыток подраться с Сидни. В итоге с января по февраль 1580 года ему было велено не покидать своих покоев. Не наученный горьким опытом, позже в том же году граф поссорился с Робертом Дадли, графом Лейстером, главным фаворитом ее величества. Пришлось ему провести еще некоторое время взаперти…