И.В. Неелов писал в рапорте от 13 сентября, что, поскольку строение каменного дома поручено ему, он ездил в Санкт-Петербург к Кваренги, чтобы истребовать «для лучшего в строении места основания, но он, господин Кваренги, прислал для объяснения ученика и потом сам, по приезде в Село Царское, приступив ко оному строению и как следует во оном со мною положился». Однако Кваренги в разговоре с ним настаивал, чтобы «за оным строением присмотр имели каменного дела мастера Русско и Жования, которых я за способных к сему делу не признаю, для того, чтоб не получить мне чрез оных незнающих людей себе вреда и порока в своем художестве». Неелов просил оставить уже назначенного каменного мастера Балакшина или другого, на кого положиться можно.
21 сентября 1792 г. Кашкин просил Турчанинова приказать Кваренги, который, хотя и был в Царском Селе, но на работу не взглянул и о плане ничего не сказал, сколь можно скорее прислать план. В результате такой генеральный план, на котором обозначены местоположение с проекцией фасадов Александровского дворца и отдельно стоящего кухонного корпуса, а также прилегающая часть парка с пейзажной планировкой и тремя прудами, составил И.В. Неелов.
При сооружении фундамента начались отступления от проекта и проявились сложности взаимоотношений архитектора и Царскосельской конторы, что нашло отражение в письме Кваренги П.И. Турчанинову: «Я предупреждал, что со мною не считаются; действительно, работы по фундаментам там начали без меня. Вы вспомните, как побили вышеупомянутого каменного дела мастера, вина которого состояла только в том, что он прогуливался по строительству, и мне передавали, что такое же обращение ждет и меня, если я осмелюсь появиться на строительстве. После того как я был поставлен в известность о том, что фундамент не соответствует необходимым размерам, которые я передал в Вашем присутствии г-ну Неелову, я Вам об этом доложил… С тех пор никто со мной не разговаривал об этом строительстве, как будто меня нет и как будто я не был архитектором». На произошедший инцидент с большим опозданием последовал указ императрицы, чтобы «того смотрителя при новом строении, который прошедшей зимою осмелился палкой или чем другим ударить каменного мастера от Кваренги, от того строения отослать и подтвердить, чтоб не осмеливался никто так дерзко поступать», о чем 9 августа 1793 г. Турчанинов сообщил в Царское Село. А несоответствием фундамента необходимым размерам, что упомянуто в письме Кваренги, можно объяснить квадратную форму оконных ниш цокольного этажа, повсеместно сохранившихся изнутри здания, тогда как существующие окна занимают лишь верхнюю треть первоначально предусмотренного проема, что свидетельствует о слишком глубоком заложении фундамента. К 18 мая 1793 г. сооружение фундамента, начатого осенью для строящегося вновь дворца, закончили. По настоянию Кваренги, требовалось произвести освидетельствование, что поручалось господам архитекторам И.Г. Старову и Ф.И. Волкову, о прочности его донесено Ея Величеству. Кваренги все же настоял на назначении мастера Жиована, имя которого появилось в очередном указе императрицы: «Впрочем Ея Величество, будучи весьма довольны искусством каменного мастера Минчиаки, уверены, что он в столь важном препоручении сего строения, знанием и трудами своими потщится заслужить Высочайшее благоволение. К смотрению же за добротою материалов, употребляемых при том строении, благоугодно Ея Величеству, чтобы архитектор Гваренги употребил каменного мастера Жиована. А сверх того конторе Царскосельской определить для наблюдения артиллерии капитана Пушкина».