Своеобразность Холмогор сказывается даже в том, что собор его, оконченный строением в 1691 году, и лежащий подле него Успенский монастырь составляют два последние крайние здания вытянутого в одну улицу города. Один из историков города, Крестинин, описывая гористые будто бы окрестности, объясняет происхождение имени Холмогоры так: «Толь прекрасны виды естества, без сумнения, подали причину назвать так описуемое селение речением, сложенным из гор и холмов». Надо иметь сильную фантазию, чтобы признать местность Холмогор гористой. Надо иметь не менее сильную фантазию, чтобы признать за Холмогорами долгое, почтенное историческое прошлое, чтобы поверить возможности того, что здесь был когда-то культурный центр всего Заволочья и еще в московский период времени до самого Петра сосредоточивалось административное и торговое значение края. Если где историческое прошлое совсем незаметно, так это — здесь, в Холмогорах.
Когда-то на месте Холмогор, более тысячи лет назад, стоял другой совсем позабытый город, столица древней Биармии. Это было старое чудское место. Упоминаемый шведскими хрониками истукан Иомалы высился, вероятно, на островке, называемом ныне Ельники. В десяти верстах отсюда есть остров, название которого любопытно в филологическом отношении, — он зовется: Чубала — «Чудь-была». Во времена новгородские Холмогоры были уже центром Заволочья, в то время, когда на том месте, где теперь находится Архангельск, стоял только один-одинехонек уединенный монастырь. Исследователь судьбы Заволочья, Соколов, дает нынешним Холмогорам такую характеристику: окрестности хороши, но сам город невзрачен; «почернелая, ветхая наружность идет к городу, как к старой летописи её пятна и лоскутки».
Посады холмогорские, как и посады в самом Новгороде, были почти на все время существования Холмогор независима один от другого. В XIV веке переселились сюда новгородские посадники, жившие до того, как кажется, в пяти верстах отсюда, в Матигорах. По присоединении Заволочья к Москве в 1478 году царем Иоанном III, Холмогоры окончательно избраны были административным центром, и скоро о самостоятельных боярах двинских, а тем более новгородских, не стало ни слуху, ни духу. В 1557 году, по ходатайству местных жителей, наместников заменили выборные головы; но, после начала торговых сношений с Англией в 1587 году, выборные головы оказались непригодны, и на Двину посылались царские воеводы, все более люди именитые, и жили они в самых Холмогорах.
Нельзя не упомянуть о том, что в 1606 году над царскими чиновниками произведена была здесь народная расправа. Граждане, в помощь томившейся тогда в безначалии Москве, снарядили для посылки в нее ратников. Дьяк воеводы Гуся, Елчанин, попользовался собранными деньгами, как кажется, не без участия воеводы. 10-го января дьяка, после короткого суда, утопили в реке, а воеводу три дня держали под стражей, затем освободили, и он правил снова как ни в чем не бывало. В 1613 году поляки, в числе 7.000 человек, подходили к Холмогорам, но безуспешно и должны были разбежаться и в большинстве погибли в пустырях и дебрях. Наместники и тиуны царские получали жалованье большое; так, от посадских людей возникшего Архангельска в 1623 году шло в казну только 39 рублей, а наместнику холмогорскому — 35. Правительство прибегало иногда к незамещению, чтобы пользоваться теми и другими деньгами одновременно, и города управлялись сами собой без управителей.
В 1686 году посады холмогорские существовали все еще каждый отдельно; они имели тогда 5 верст в окружности, тогда как теперешние Холмогоры имеют только 1 1/2 верст длины. Немного позже, в 1692 году, вдоль крепостной ограды Холмогор высилось 12 башен, было четверо ворот и глубокий ров, следы которого отчасти еще видны; стрельцы явились сюда в 1621 году; в 1646 году их было 1.000 человек.
С возникновением Архангельска торговый люд, в особенности иностранный, мало-помалу стал покидать Холмогоры и переселяться к морю;воеводы оставались тут до 1702 года. Петр I по пути в Архангельск был в Холмогорах три раза; по его повелению, в 1692 году были доставлены сюда голландские производители рогатого скота, образовавшие знаменитую холмогорскую породу, коровы которой дают 2 — 3 ведра молока в день. В 1819 году посетил город император Александр I, по повелению которого начали разводить английский скот; но этот не акклиматизировался. Холмогоры посетили Великие Князья: Алексей Александрович — в 1870 г. и Владимир Александрович — в 1885 году.