Правда, печально осознавать, что время и бесхозяйственное отношение к всемирно известному памятнику зодчества свершили свое варварское дело. Ансамбль разрушается, он во многом утратил свой блеск, разделив печальную судьбу многих архитектурных памятников заповедной Коломны. Осыпающиеся кирпичи, обшарпанные, почерневшие от времени изуродованные стены. Заросшие деревьями и непроходимым кустарником берега окружающих Новую Голландию каналов. Куда девались прежнее величие и красота знаменитого ансамбля?.. И все же сегодня, отражаясь в тихих водах Мойки, величественная арка слабо колышется в ее водном зеркале, и ждешь, что в следующее мгновение вдруг послышится плеск весел о воду, и в старую протоку, в глубь Новой Голландии войдет петровская боевая галера с командой военных гребцов.
Краевед Н. А. Синдаловский в книге «По Петербургу» заметил: «Петербургская городская фразеология не раз предоставляла возможность внимательнее и глубже вглядеться в архитектурную историю города. В самом деле, кажется, какое отношение к Петербургу может иметь такое знакомое каждому предупреждение: „Не лезь в бутылку“, то есть веди себя спокойно, не заводись, не нарывайся на неприятность! Оказывается, самое прямое». По легенде, архитектор А. Е. Штауберт, построивший на территории острова здание Морской тюрьмы, назвал свое детище «Башней», а в народе его окрестили «Бутылкой». Со стороны эта постройка действительно очень уж походила на знакомый всем сосуд, продаваемый в казенных лавках с белой или красной сургучной головкой. Попасть в «Бутылку» для жителей старого Петербурга было далеко не самым лучшим событием в их жизни.
Вскоре после подавления в 1820 году восстания Семеновского полка и в 1825-м выступления декабристов в незастроенной западной части Новой Голландии специально отвели участок для строительства здания Военно-морской исправительной тюрьмы. Разработку проекта в 1828 году поручили архитектору Военного ведомства А. Е. Штауберту. Реализованный в 1829 году проект зодчего предусматривал сооружение трехэтажного кольцеобразного «казенного дома» с круглым внутренним двориком. Сам автор действительно называл свое сооружение «Башней», а позже – «Бутылкой». Первый этаж занимали тюремная охрана и помещения арестантской кухни, пекарни и продовольственных кладовых. Тюремные камеры разместили на втором и третьем этажах. Они были рассчитаны на размещение 500 заключенных. От складов Морскую тюрьму отделяла специальная высокая ограда. В 1863 году Военно-морскую тюрьму в Новой Голландии существенно реконструировали, после чего она официально стала называться Военно-исправительной тюрьмой Морского ведомства Балтийского флота. Проектом военного инженера, штаб-капитана Н. А. Лифантьева в первом этаже здания предусматривалось помещение канцелярии и тюремных камер для осужденных на длительные сроки. Второй и третий этажи отводились для военнослужащих, приговоренных на непродолжительные сроки тюремного заключения. В процессе реконструкции здания тюрьмы строение укрепили капитальными внутренними стенами, на втором и третьем этажах заделали стенные проемы, а также усилили фундамент здания.
Тюремный режим военного исправительного заведения предусматривал использование камеры только для ночного времени и сна заключенных. Весь же световой период суток арестанты работали. В дневное время камеры превращались в своеобразные производственные мастерские. Проектом предусматривалось обустройство одиночных камер площадью 25 кв. аршин каждая при «весьма достаточной» высоте. Тюремные окна располагались настолько высоко, что арестант не мог обозревать площадь тюремного двора. В каждой камере располагались койки и наглухо прикрепленный к полу табурет. В дневное время койки поднимались к стене и закрывались на замок.
На втором этаже, разделенном на 6 отсеков, обустроили 80 камер-одиночек, а третий этаж с 7 тюремными отсеками насчитывал 95 камер одиночного содержания. В тюрьме велось регулярное наблюдение за каждым узником одиночной камеры через дверные смотровые проемы. По заключению ведомственной санитарной службы, все камеры достаточно эффективно проветривались и отапливались из котельной тюрьмы через трубы в стенах и над полом одиночек. В здании тюрьмы существовала церковь Святителя Николая, действовавшая в Военно-исправительной тюрьме Морского ведоства вплоть до 1918 года.
Заключенных также привлекали к работам в мастерских. Ассортимент вырабатываемой ими продукции бывал весьма разнообразным. Они выполняли столярные, токарные работы, ткали маты, изготовляли обувь и одежду. Считалось, что Военно-исправительная тюрьма Морского ведомства в Новой Голландии являлась, по оценке Морского министерства, «учреждением, организованным на началах рациональной системы, используемой в практике мест заключения европейских государств».