По внешним от города берегам прудов Александр I распорядился устроить две дачи, отведя одну из них княгине М.В. Кочубей, супруге государственного канцлера В.П. Кочубея, а вторую – статскому советнику И.Д. Черткову. Облик Набережной улицы с этой стороны формируют водные пространства Нижних прудов с живописными ландшафтными массивами великокняжеских садов – Владимирского дворца и О.В. Гогенфельзен (Палей), о которых рассказывалось ранее.
Местность, где находится здание фабрики, в начале XVIII в. не была застроена. Через нее протекал ручей Вангазя, на нем еще с допетровских времен стояла водяная мельница. На ней мололи зерно и для императорской царскосельской усадьбы, а для хранения зерна и муки построили житницы и амбары. При императрице Елизавете Петровне в середине XVIII в. на ручье, недостаток воды в котором восполнили устройством Виттоловского водовода, с помощью плотин сооружена каскадная система из пяти больших Нижних прудов. Иорданский и Фабричный, или Купальный, пруды сохраняют свои размеры и строгую регулярную форму с того времени. Инженер-гидротехник И.К. Герард в 1779 г. заменил старую плотину новым сооружением, облицованным гранитом.
На берегах водоемов, каскаде прудов в 1779 г., по сообщению И.Ф. Яковкина, императрица Екатерины II распорядилась построить фабрику для производства высококачественной бумаги – гербовой и для денежных знаков, которые тогда назывались ассигнациями. Повеление об этом получил генерал-прокурор князь А.А. Вяземский, исполнявший в то время обязанности государственного казначея. Мастеров и оборудование для изготовления бумаги, которая должна была превосходить производившуюся ранее в России и не уступать английским образцам по белизне, прочности и тонкости, выписали из-за границы.
Из сообщения И.Ф. Яковкина следует, что автором проекта и строителем Царскосельской мельницы-фабрики был выдающийся петербургский инженер-гидротехник Ф.В. Баур: «В 1784 году работы сии производились по начертанию и под присмотром Генерал-квартирмейстера Боуера». Возможно также, что к разработке проекта фабрики привлекали архитектора Ч. Камерона.
В 1785 г. фабрика разместилась в построенных для нее зданиях. Правом присутствовать в производственных помещениях обладали только специально назначенные лица, территория тщательно охранялась. Руководство мельницей возлагалось на советника В. Небольсина и казенного пристава. В 1800–1809 гг. должность государственного казначея исполнял Г.Р. Державин.
Главное двухэтажное каменное здание фабрики в плане имело Г-образную форму. В нем располагались водяная мельница и производственные помещения для выделки и хранения бумаги. Постройку разместили вплотную к плотине с тем, чтобы вода из шлюза попадала на колесо мельницы в подвале. На участке находились также каменная постройка, «черпальня», и деревянная, «сушило». Дома для чиновников и мастеровых, для воинской команды, охранявшей фабрику, а также склады построили с северо-западной стороны пруда. Впоследствии они образовали застройку квартала между Малой и Московской улицами, здесь же находился и дом управляющего фабрикой. В 1810-е гг. при урегулировании застройки Царского Села по проекту архитектора В.И. Гесте для нужд фабрики выделили большой участок по обе стороны Набережной улицы. Его границы локализуются по планам того времени, а обозначенное на них здание фабрики имеет Г-образную форму.
В связи с учреждением в 1819 г. Экспедиции заготовления государственных бумаг, включившей работников царскосельской ассигнационной фабрики, производство в Царском Селе упразднили. Здания бывшей фабрики ассигнационных бумаг в 1819 г. перешли к переведенной из Ропши Императорской обойной фабрике, существовавшей до 1860 г.
По проекту архитектора И.Ф. Лукини главное здание в 1819 г. отремонтировали и надстроили третий этаж. К Г-образному в плане зданию пристроили корпус под один карниз. Трубу Таицкого водовода при этом перенесли в подвал нового корпуса. Вид фабрики после перестройки с крышей красно-коричневого цвета и фасадами белыми или светло-охристыми запечатлен на литографии В. Лангера. В настоящее время облик здания во многом соответствует этому изображению.