В 1803 г., во время каникул, пятнадцатилетний Байрон встретился с юной Мэри Чаворт, которая вызвала в нем большое и сильное чувство. Байрон тогда не мог предвидеть, сколь глубокой окажется его любовь. За несколько месяцев до своей смерти в одном из писем он писал: «…я в ранней юности сильно полюбил внучатую племянницу мистера Чаворта. Она была старше меня двумя годами, и мы в юности много времени проводили вместе. Она вышла замуж за человека из старинной и почтенной семьи, но брак ее оказался несчастливым, как и мой». Байрон посвятил Мэри Чаворт целый ряд стихотворений, но особенно волнующе он передал свое страдание и любовь к ней в поэме «Сон», написанной в 1816 г.
В 1805 г. Байрон поступил в кембриджский Тринити-Колледж, высшее учебное заведение тогдашней Англии. У него появились новые товарищи, некоторые из них стали его верными друзьями на всю жизнь. Байрон отдавал дань молодости, веселью, наслаждениям, карточным играм и «искусству непомерного поглощения алкоголя». Но это лишь внешняя сторона его жизни в Кембридже. Джордж продолжал свои систематические занятия спортом, начатые им в Харроу: успешно занимался плаванием, боксом, фехтованием, верховой ездой. По-прежнему много читал. Знания Байрона, почерпнутые в эти годы из множества книг, размышления над прочитанным были основой для быстрого и самостоятельного развития его личности.
Здесь, по его словам, зародилась «неистовая, но чистая любовь и страсть» к Джону Эдльстону, юному хористу, пение которого Байрон впервые услышал в храме Святой Троицы. «Сначала его голос, — писал Байрон, — привлек мое внимание, затем я был заворожен выражением его лица, а его обходительность навсегда привязала меня к нему… Определенно я люблю этого человека больше всех на свете, и ни время, ни расстояние не повлияют на мои (как правило) меняющиеся настроения». Некоторые ранние стихотворения Байрона посвящены Джону, например, «К Э…..», «Стансы к Джесси» и «Сердолик». Этот камень — подарок Эдльстона — поэт хранил до конца своих дней, и об этом можно прочесть в стихотворениях первого сборника Байрона «Часы досуга».
1808 г. Джордж провел в Лондоне, развлекаясь и отдаваясь «бездне чувственности», как говорил об этом сам поэт. У него был огромный любовный аппетит, и сохранились документы, в которых Байрон характеризуется как поклонник различных сексуальных приспособлений. В Лондоне у него было две постоянные любовницы, и, кроме этого, через его квартиру прошло великое множество безвестных проституток. Молодой повеса очень любил, когда одна из его любовниц наряжалась в мужскую одежду. Маскарад окончился, когда «у юного джентльмена прямо в гостиничном номере случился выкидыш».
В следующем году вместе с близким другом по Тринити-Колледжу Джоном Кэмом Хобхаузом Байрон предпринял длительную поездку в Португалию, Испанию, Албанию, Грецию и Константинополь. Это путешествие изменило его жизнь. Поэт влюбился в природу Средиземноморья, людей, его населяющих, и их образ жизни, который после Англии казался ему простым, естественным, раскрепощенным. Особенно очаровали его юные греки, и с некоторыми из них Джордж поддерживал любовные отношения. Среди них были Евстатис Георгио и Николо Жиро, которого Байрон по возвращении в Лондон включил в свое завещание. Интимная жизнь с Николо впоследствии сыграла не последнюю роль при разводе Байрона с женой.
В 1811 г. до Байрона дошла печальная весть о преждевременной смерти Джона Эдльстона. Поэт писал: «Вчера я узнал
о смерти, которая потрясла меня, как никакая другая, о смерти человека, которого я любил, как никого другого, человека, которого я любил больше всех на свете и который, я верю, любил меня до конца своих дней». В память об Эдльстоне Байрон сочинил серию элегий «Тирза», однако изменил местоимения для публикации, чтобы не шокировать читателей.
Появившиеся в 1812 г. первые две песни «Паломничества Чайльд-Гарольда», созданные во время путешествия по Средиземному морю, принесли Джорджу известность. Поэзию Байрона воспринимали как манифест поколения, считавшего свою эпоху историческим безвременьем. Связывая, как многие сверстники, надежду на торжество справедливости и вольности с Великой французской революцией 1789 г., поэт трагически пережил перерождение республики в диктатуру, а затем в империю.
В этот период у Байрона был бурный роман с рыжеволосой светской львицей леди Кэролайн Лэм, 27-летней женой сэра Уильяма, который позже стал премьер-министром Англии. Связь продолжалась полгода и закончилась скандальным разрывом. Поэт также вкусил «осенних чар» Джейн Элизабет Скотт, 40-летней жены графа Эдварда Харли, которая поддерживала его радикальные политические настроения.