Адвокат Гофман через четыре года перевелся из Кёнигсберга в Инстербург (нынешний Черняховск) в качестве судебного комиссара и советника по уголовным делам, где и умер в 1797 г. Больше Эрнст его никогда не видел. О старшем брате известно лишь, что в конце своей беспорядочной жизни тот был признан недееспособным, заключен в работный дом и скончался в том же 1822 г., что и Эрнст.
Ловиза Альбертина с сыном вернулись в дом Дёрфферов. В нем жили бабушка Луиза София и ее дети. Тетка Эрнста Иоганна Софи и дядя Отто Вильгельм. С матерью Гофман виделся нечасто: ее психическое заболевание прогрессировало, и почти всё время она проводила в своей комнате, в одиночестве и взаперти, то и дело устраивая истерики. О сыне она и не вспоминала до самой своей смерти в 1796 г. Так Гофман остался сиротой.
Воспитанием маленького Эрнста в доме бабушки занялся его дядя Отто. Отто Дёрффер, образцовый пруссак, благочестивый любитель ясности и порядка. Своей семьи у дяди не было, и вся накопившаяся в нем энергия воспитателя обрушилась на юного Эрнста. Тот, утомленный регулярными нотациями, считал родственника филистером и педантом. Сам-то он был фантазером и возмутителем спокойствия в доме.
Педантичный уклад жизни в доме Дёрфферов Гофман устами своего «двойника» капельмейстера Крейслера описал в романе «Житейские воззрения кота Мурра»: «…юность моя подобна выжженной степи, где нет ни бутонов, ни цветов, подобна выжженной степи, усыпляющей разум и душу своим безутешным дремотным однообразием».
Наперсницей Эрнста была тетя Иоганна, его друг и защитник. У Дёрфферов сохранялась немецкая традиция домашнего музицирования с участием членов семьи и их друзей. Игра на лютне и пение Иоганны – эти ранние музыкальные впечатления пробудили в Эрнсте любовь к музыке, длившуюся до последних дней его жизни.
Под крышей дома Дёрфферов Эрнст Гофман прожил до своих 20 лет – до 1796 г. Находился этот дом неподалеку от нынешнего калининградского эстакадного моста. Он был разрушен в 1940-е гг. во время британской бомбардировки, а оставшиеся фрагменты стен снесены в послевоенный период.
Отношения в семье оставались очень сложными, но именно дядя, сам музыкант-любитель, приобщил племянника к музыке и рисованию. Он свел его с ректором реформатской школы Стефаном Ванновским, открывшим в мальчике художественные задатки; ему Гофман обязан занятиями музыкой с Христианом Подбельским, соборным органистом Кёнигсберга и композитором. «Житейские воззрения кота Мурра» погружают читателя в то непростое время. Мастер Абрагам Лисков, заботливый покровитель не только кота Мурра, но и самого капельмейстера Иоганнеса Крейслера, – это Подбельский, человек из кёнигсбергской юности Гофмана, определивший его жизненный путь.
Это характерно для писателя – почти все переживания детства всплывают потом в его текстах. Герои Гофмана – чаще всего люди искусства: музыканты или живописцы, певцы или актеры. Но словом «музыкант», «артист», «художник» Гофман определяет не профессию, а романтическую, мечтательную личность, которой душно в обществе обывателей и торговцев. Спасаются его герои только силой фантазии.
Осенью 1782, шести с половиной лет Э. Т. А. был принят в протестантскую городскую школу – кёнигсбергскую Бургшуле. Учеников в школе было около сотни, на всех приходилось три-четыре учителя. Ректором был Стефан Ванновский, оказавший влияние на эстетические вкусы Э. Т. А.
Кёнигсбергская Бургшуле основана в 1658 г. как «реформатская приходская школа» и замышлялась как детское общеобразовательное учреждение. В Кёнигсберг после отмены во Франции Нантского эдикта о веротерпимости, с 1656 г., стали приезжать французские реформаты-гугеноты. В 1690–1736 гг. в Кёнигсберге были построены две реформатские церкви – немецкая и французская.
31 августа 1664 г. великий курфюрст Фридрих Вильгельм подписал рескрипт, по которому школа получила официальное название «Бургшуле», буквально «Крепостная школа», т. к. она находилась на территории кёнигсбергского района Бургфрайхайт («Крепостная слобода»). В документе, датированном 2 августа 1680 г., отмечено, что школа уже располагается в специально построенном для нее здании.
В мае 1813 г. Бургшуле вышла из-под юрисдикции реформатской церковной общины и получила название «Высшая городская школа». В октябре 1859 г. школа реорганизована в городскую реальную гимназию, сохранив своё традиционное название «Бургшуле». В 1892–1893 гг. школа преобразована в Высшую реальную школу и вскоре переместилась в здание бывшей Фридрихс-Коллегии на Лёбенихт. В 1927 г. Бургшуле переехала в новое здание на Лендорфштрассе в Хуфене. Последние занятия в Бургшуле прошли в 1944 г. Сейчас в этом здании на улице Кропоткина находится калининградская гимназия № 1. Имеет статус объекта культурного наследия регионального значения.