Строительство слободы Конного полка велось по проекту архитектора Боенваля с 1741 по 1757 год. Территория слободы пересекалась одиннадцатью переулками, застроенными 107 солдатскими избами и светлицами, называвшимися связями. Каждая связь имела восемь покоев. В каждом покое жило два семейства или четыре холостых нижних чина. Десять офицерских связей отличались от солдатских своими большими размерами и комфортностью. В квартире располагалась одна офицерская семья или два холостых офицера. Центром слободы лейб-гвардии Конного полка тогда стал трехэтажный каменный дом бывших Кикиных палат, перестроенных по проекту императорского архитектора Растрелли. На его верхнем этаже находились полковой лазарет и полковая церковь, освященная во имя Благовещения Богородицы. Средний этаж занимали полковая канцелярия, военный архив и караульные помещения. Первый этаж оборудовали под цейхгауз (оружейный склад) и арестантскую комнату. Торжественное освящение полкового храма лейб-гвардии Конного полка свершилось 12 декабря 1743 года в присутствии императрицы Елизаветы Петровны. На берегу Невы построили полковые конюшни, манеж и баню, приносящую Конному полку финансовый доход в 1100 рублей. Ее услугами пользовались не только военнослужащие и их семьи, но и окрестные жители, платившие за вход 1 копейку каждый.
В 1767 году Екатерина II посчитала, что деревянные дома гвардейских слобод занимают довольно значительную площадь городской территории, и повелела впредь сооружать в столице компактные каменные многоэтажные казармы, а освободившиеся участки раздавать обывателям под строительство жилых домов.
В 1783 году, с благословения императрицы, началось строительство знаменитого Таврического дворца ее фаворита светлейшего князя Таврического Григория Александровича Потемкина, генерал-фельдмаршала и президента Военной коллегии; к нему тогда отошла часть участка, считавшегося «Конногвардейским домом», на котором в то время размещались слободы лейб-гвардии Конного полка. После кончины императрицы Екатерины II новый император Павел I повелел вынести из Таврического дворца фаворита своей матушки князя Потемкина все находящиеся там драгоценности и уникальные вещи, а великолепные наборные паркетные полы из редких ценных пород деревьев разобрать и перенести в Михайловских замок.
Павел Петрович с юных лет невзлюбил Потемкина и был несказанно рад его кончине. Российский писатель Михаил Иванович Пыляев, автор известных исторических очерков о Санкт-Петербурге, в 1889 году писал: «Император Павел не любил Потемкина; у него ничего не было общего с ним, мнения и убеждения одного шли вразрез с образом мыслей другого. При вступлении на престол из бумаг Потемкина он увидел, как много тот вредил ему в мнении императрицы.
Дошедший до императора Павла слух, что тело Потемкина более семи лет стоит не преданным земле, вызвал распоряжение похоронить его, как гласил императорский указ: „Без дальнейшей огласки, в самом же том месте, во особо вырытую яму, а погреб засыпать и загладить землею так, как бы его никогда не было“».
При императоре Павле I в Таврическом дворце царствовало полное запустение. 11 апреля 1799 года император повелел передать Таврический дворец, убранство и обстановка которого ранее походили на волшебное чудо из сказки «Тысяча одна ночь», под казармы и конюшни лейб-гвардии Конного полка. Блистательный дворцовый Большой зал превратился тогда в полковой манеж, а украшенный ранее драгоценностями и редкими скульптурами Овальный зал приспособили под конюшню Конногвардейского полка.
Тогда же М. И. Пыляев приводит воспоминания Н. И. Второва, известного российского финансиста и богатого предпринимателя, о его впечатлении от состояния некогда утопающего в роскоши и цветах дворца фаворита Екатерины II: «На развалины великолепного Таврического дворца взглянул я со вздохом. Видел обломанные колонны, облупленные стены, а в огромном зале с колоннадой, украшенной барельефами и живописью, где прежде царствовали утехи, пышность и блеск, где отзывались звуки „Гром победы раздавайся!“ – что бы, вы думали, теперь? – Дымящийся лошадиный навоз!.. Вместо гармонических звуков раздается хлопанье бичей, а вместо танцев бегают лошади на корде; зал превращен в манеж! Романтический сад поныне еще привлекает всех для прогулки в нем. На беседках и храмиках стены и двери теперь исписаны сквернословными стихами и прозой».
В 1807 году по указу Александра I полк Конной гвардии торжественно перемещается в казармы Кавалергардского полка на правом берегу Мойки у Поцелуева моста, в откупленный «дом Брумберга» в Провиантском (Конногвардейском) переулке. Однако теснота и недостаточность жилых помещений этого здания вынудили императора возводить для конногвардейцев дополнительные строения и корпуса между Адмиралтейским каналом и новым Почтамтом. Все свободное пространство Благовещенской площади занимали теперь хозяйственно-бытовые постройки лейб-гвардии Конного полка.