Лишь однажды в жизни обратился он из аспида в саму услужливость и предупредительность. И виной тому не оставившая его и в старческие годы изрядная похотливость, что называют, «бес в ребро», в жертву чему он готов был принести все свои дряхлеющие силы. Этот видавший виды амурщик присмотрел себе дочь купца-лабазника, аппетитную пухленькую девицу, годившуюся ему в правнучки, и объявил ее отцу о самых серьезных намерениях. Лабазник был крайне польщен, что дочь его станет почти генеральшею, и охотно благословил сей неравный брак. Жажда собственника настолько овладела Брызгаловым, что он оковал молодуху цепью таких несусветных запретов, перед коими и домостроевские порядки показались бы кодексом женской эмансипации. Он следил за каждым ее шагом, запирал на ключ, не подпускал к ней и женскую прислугу, работу коей, даже самую черную, выполнял сам (очевидцы видели, как его высокородие выносил за женой ночную вазу). И при этом подобострастничал перед ней и отвратительно сюсюкал, вызывая у нее стойкое чувство гадливости. Такое затворничество, отравляемое еще докучливыми ласками сладострастного старца, превратило цветущую деву в подобие мумии и уже через год свело ее в могилу.
Шло время, вот уже сменились три поколения петербуржцев, а Брызгалов продолжал мозолить всем глаза своими шутовскими выходами. Когда же встречал насмешки, грозил своей увесистой тростью и что-то злобно бормотал. Не удивительно, что комически-карикатурный бригадир стал объектом шаржей и карикатур петербургских рисовальщиков.
Известны два портрета Брызгалова, выполненные знаменитым художником Александром Орловским. Один живописует его в маленькой треуголке, с косой, с кульмским крестом на груди; на небритом подбородке волоса стоят щетиной. Второй, рисунок (литография Карла Беггрова), изображает обращенного к зрителю спиною сутуловатого старика, прогуливающегося по Адмиралтейской площади. На нем мундир павловских времен, на голове перевязанная лентою длиннейшая коса, тянущаяся до талии во всю спину; на ногах – ботфортища невероятного размера. Под рисунком надпись: «Всем в Петербурге известный малиновый мундир времен Павловских, коса которого лучше его рожи изображает его персону».
Портрет-шарж Брызгалова с такой надписью (ее, по слухам, придумал известный остроумец князь Василий Мещерский) имел любопытную историю. Книгопродавец Иван Заикин выставил его на продажу, и от покупателей не было отбоя. Видя, что товар ходкий, картинку выставили в рамке под стеклом у входа в лавку, и все только и спрашивали: «Подай-ка Брызгалова в его малиновом мундире!» Торговля шла весьма бойко, пока в лавку Заикина не заглянул сам оригинал портрета – Иван Семенович Брызгалов собственной персоной. Вот уж досталось тогда незадачливому купчишке! Отчаянно размахивая тростью, Иван Семенович, осыпав Заикина площадными ругательствами, потребовал изъять «проклятый портрет» из продажи, а на рисовальщика грозился подать в суд за оскорбление этой самой «персоны». Он напирал на то, что верой и правдой служил императору Павлу, а ныне царствующий государь, как любящий сын своего отца, не отдаст его, Брызгалова, на посмеяние и обиду каким-то там прощелыгам. В довершение ко всему он запечатал сургучом тюк со всеми экземплярами портрета, строго наказав печатей не трогать.
Между тем Орловский заручился поддержкой обер-полицмейстера Петербурга, генерала Ивана Горголи, а тот распорядился снять с тюка печати и, хотя не выставлять портрет на витрине лавки, но продавать всякому, кто пожелает. Но Брызгалова не проведешь: он явился опять и закричал благим матом, мол, никакого такого Горголи он знать не хочет, а знаком был коротко с прежним градоначальником Федором Эртелем, вот тот такого злодейского приказа нипочем бы не отдал. И опять про то, что сам царь-батюшка его, бывшего кастеляна, ценит и любит и неправды не попустит; да и на супостата, этого рисовальщика, в суд подано, а пока дело не решено, продавать его мерзостный пасквиль строго возбраняется.
Словом, вышел целый скандал: к дверям лавки набежала целая толпа, которую тщетно пытались успокоить городовые и будочники. В результате все интересанты, включая и «виновника торжества», отправились на дрожках прямиком к обер-полицмейстеру для увещевания. И не единожды Горголи вызывал к себе Брызгалова и пытался утишить его гнев. Наконец, спустя две недели споров и препирательств, было достигнуто соломоново решение: насмешливая надпись, столь оскорбительная для бригадира, была зачернена, сам же портрет-шарж дозволялось продавать в книжных лавках обеих столиц (экземпляр его хранится ныне в Русском музее).