Во время войны со шведами отличился в 1742 году и стал генерал-поручиком. Участвовал во всех самых важных сражениях Семилетней войны, причём в ходе сражения при Цорндорфе, командуя Обсервационным корпусом, лично водил кавалерию в атаку против прусской кавалерии и получил свыше десяти сабельных ран. После окончания войны в 1762 году состоялось его назначение рижским генерал-губернатором. Императрица Екатерина II относилась к нему с глубоким уважением и мнение его ценила. В отставку, несмотря на настоятельные просьбы, не отпускала. И вот настало время обратиться к старому генералу за помощью.
Написала ему письмо: «Дорогой Броун, пришлите мне хорошую гувернантку для моих внучек».
И нужно же было такому случиться. Едва Броун записку прочитал, как ему доложили, что требует немедленно его приёма некая баронесса фон Ливен.
Выслушав с любопытством сообщение, Броун воскликнул:
— Просите!
Вошла весьма привлекательная внешне дама лет пятидесяти, высокого роста, статная. Он предложил сесть и услышал заявление весьма настоятельное:
— Я только что приехала из Херсонской губернии с тремя сыновьями и двумя дочерями. Похоронила мужа, распродала всё имущество, и сюда. Да вот только оплатить весьма скверную фуру нечем — все деньги истратила по дороге. Так что прошу вас посодействовать в скорейшем получении моей пенсии.
— Будет исполнено, — обещал Броун и поинтересовался планами баронессы.
— Хочу открыть в Риге небольшой пансион для воспитания девочек, чтобы там дочерей своих обучать и воспитывать, ну а сыновей определить в гимназию. Хочу нанять учителей русского языка, прежде всего русского, потому как мы ведь русские подданные, а говорят дочери мои, увы, совсем неважно. А уж потом всякие там французские и прочие языки, по которым в России с ума сходят.
Броун тут же приказал расплатиться с возчиком, не дожидаясь, когда выдадут даме пенсию, и стал расспрашивать её о взглядах на воспитание и образование. Ответы понравились.
— Хорошо! Я найду вам место! — решил Броун, незаметно поглядывая на записку государыни и подумывая о том, что, может статься, перед ним как раз та дама, которая и нужна.
Баронесса показала и знания обширные и необыкновенный свой ум продемонстрировала, что не так уж часто можно было встретить. А главное — твёрдость, уверенность в себе!
Спустя три дня Броун пригласил к себе баронессу и без всяких предисловий объявил:
— Место я вам нашёл. Государыня просила рекомендовать ей воспитательницу для великих княжон. Думаю, что вы вполне подходите на эту роль!
— Но я ж совсем не говорю по-французски?! — почти с ужасом воскликнула баронесса.
— Главное, что по-русски отлично говорите. А учителя у великих княжон будут. От вас же нужно твёрдое нравственное воспитание. Это — главная задача.
Александра Осиповна Смирнова-Россет рассказала в мемуарах о том, что происходило дальше: