1. Деревянная, ветхая и тесная хижина, пожертвованная купцом Волобуевым Преосвященному Иеремии на короткий срок, до времени построения Архиерейского дома, должна была служить гораздо долее сего срока приютом Епископу. Неудобство и необыкновенная простота этого приюта отнимали возможность у Епископа заниматься епархиальными делами с должною отчетливостию, сверх того хижина, пожертвованная уже ветхою, начала разрушаться. Епископ должен был провести зиму с 1857 на 1858 год в частном доме. Самое место, довольно большое, но неудобное для Архиерейского дома, долженствующего стоять отдельно и иметь характер монастыря, утвержденное Высочайшим повелением за Архиерейским домом еще в 1846 году, не было передано к 1858 году под различными предлогами в Епархиальное ведомство.
2. Другое место в лучшей части города, именуемое Воробьевскою, весьма удобное и живописное, куплено Преосвященным Иеремиею у Штаба. При этом месте имеется лесная дача, с плитного ломкого камня, пожертвованная Дому городом. На даче этой производится процесс с частным лицом, захватившим своевольно и насильственно значительный участок в ней и старающимся распространить свое владение. Естественно, что при таком положении этого места, при неизвестности, чем решится дело, построение на нем Дома рановременно. Был составлен проект Дома, но столько недостаточен, что епископ Игнатий не решился представить его на утверждение Святейшего Синода.
3. Кавказское начальство, ходатайствовавшее об открытии на Кавказе Епархии, намеревалось немедленно обеспечить содержание Епископа и его Дома угодиями или суммою денег за угодия. Но обеспечение это до сих пор не осуществилось; как лице, так и Дом Епископа оставлялись в самом затруднительном положении. Епископам Иеремии и Иоанникию выдавались в пособие: 1000 рублей серебром в дополнение к жалованью и 1500 рублей серебром на содержание Дома; последние 1500 рублей были отпущены и в 1858 году.
4. С открытием Епархии даны были дому 44 служителя, избранные из казенных поселян Ставропольской губернии. Дом, очевидно, не имел ни средств, ни места к поселению этих штатных служителей. Средства к содержанию их заключались в их скуднейшем жаловании и в том скуднейшем пособии, которое мог давать им Дом. По этой причине положение штатных служителей, особливо семейных, было в полном смысле безприятное, бедственное. Меры к извлечению Кавказского Архиерейского дома из состояния упадка и уничтожения в 1858 году были приняты следующие:
1) Усиленное ходатайством пред гражданским ведомством о приведении Высочайшего повеления в исполнение введением во владение участком, пожертвованным для временного приюта Епископу, — и Дом введен во владение упомянутым участком и выдана гражданскою палатою данная на владение.