Пипс «увлекался картами». Карты и азартные игры в целом были популярным развлечением того времени. Играли все классы общества, лотереи использовались для пополнения общественных финансов. Однажды Пипс заплатил 18 пенсов, чтобы вступить в «кофейный клуб» острова Рота, члены которого встречались в таверне «Голова турка» на Джеррард-стрит. Кофейни появились в Лондоне восемь лет назад и сразу стали очень популярны среди торговцев и юристов Лондона. Однако торговцы и юристы не остались в одиночестве. Роджер Лестрейндж сетовал, что «каждый извозчик и грузчик теперь государственный деятель, и, конечно, кофейни вполне им подходят». Никакого внимания не обращалось на «положение и чины», и в кофейне, согласно автору сатирической поэмы «Гудибрас» (Hudibras) Сэмюэлу Батлеру, вместе сидели «джентльмен, ремесленник, лорд и разбойник».
В городе, где главную роль играли беседы и размышления, новости и слухи, кофейни были единственным важнейшим общественным местом отдыха и сбора информации. Лондон описывали по кофейням, стало обычным делом адресовать письма лондонцу «в “Греческую”» или «в “Радугу”». Маколей сказал, что кофейни практически превратились в политический институт. Однако в них обсуждали не только «свежие новости». Один раз Пипс «долго сидел с несколькими джентльменами за хорошей беседой о Римской империи». В конце 1664 года он заглянул в кофейню, чтобы попробовать новый напиток «шоколад»: «очень вкусно».
А затем «после обеда мы очень славно попели хором, а один из нас, Хазард, спел соло на старинный манер». Музыка и пение раздавались повсюду. Устраивались «песни по кругу». Ожидая адвоката, Пипс «сидел в его кабинете и пел». Перед сном Пипс часто играл на лютне. В одном из залов кофейни он слышал разные итальянские и испанские песни, а также канон для двух голосов на слова
Как многие его современники, Пипс, похоже, без предвзятости смотрел на превратности веры и религиозного рвения. Одним воскресеньем он «вышел на улицу и заглянул в несколько церквей». Если ему нравилась проповедь, он мог остаться до конца, но несколько раз случалось, что во время молитвы он погружался в сон. Когда изобретатель сэр Сэмюэл Морланд и его жена вошли в церковь с двумя лакеями в ливреях, паства обратила «на них большое внимание», особенно «провожали взглядом до кареты после проповеди». Он отметил также: «Я рассматриваю религию, будь она чем хочет, как причуду… и поэтому ценю ее, как все остальные вещи». Однако находилось место и суевериям. Он носил с собой заячью лапку как амулет, защищающий от болезней, но его товарищ заметил, что действие амулета не распространяется на других. Как только он потрогал лапку, его «живот начал бурлить и пускать газы».
При работе в Военно-морском ведомстве было обычным делом принимать подарки от различных претендентов на должность или привилегии. Однажды ему в оплату за «любезность» по очереди поднесли рапиру, бочку вина, халат и серебряную ленту для шляпы. Его начальник Монтегю говорил Пипсу: «За это время я сделаю для тебя все, что в моих силах, чтоб ты заработал». Он жаждал извлечь прибыль из найма нескольких судов для службы в Танжере; он получил долю от выручки, «которой не требовал, но с которой молча согласился». Когда ему вручали пакет с деньгами, он вынимал золотой или несколько монет серебром, все время отводя взгляд, будто намекая: «Я могу сказать, что не видел денег в бумагах, если меня когда-нибудь об этом спросят». Коммерция любого рода составляла суть государства, и Пипс стремился найти своему брату хорошую жену, «стоимостью в двести фунтов в живых деньгах». При дворе, писал он, царили «похоть и выгода».
У него было несколько любопытных знакомств. Он записал, как один джентльмен в течение одного 1659 года служил восьми разным правительствам, «и он действительно перечислил все, а потом с девятым, к сожалению, потерпел неудачу, а именно с тем, которое пришло с королем». Пипс находился рядом с королем, когда одна женщина из квакеров передала ему петицию. Карл заспорил с ней, а «она только повторяла “О король!”» и все время «тыкала» ему. Пипс имел беседу с экспериментатором Джоном Спонгом, который рассказал ему, что «с помощью микроскопа собственной конструкции обнаружил, что крылья у моли устроены так же, как перья крыла птицы». Пока Пипс и Спонг беседовали, нескольких сектантов арестовали за посещение тайного молитвенного собрания. Пипс добавил, что «они шли, как овцы, не оказывая никакого сопротивления». Тогда было обычным для мужчин и женщин лить слезы и от радости, и от горя.