Яркое представление, что это был за человек, можно получить благодаря характеристике, данной ему И. М. Гревсом, который был «осведомленным летописцем этих событий и живописцем этих людей», будучи членом кружка. Федор Ольденбург был лучшим учеником, далеко оставлявшим за собою одноклассников, не вследствие самолюбия или стремления к первенству, но от одной безукоризненной добросовестности и неустанного трудолюбия. Он являл собой плод крупнейшего природного таланта, искони творящего духа, огромной любви к мысли, духовному подвигу. Свойства эти, удивительные и редкие, расцветали сквозь всю его жизнь. Еще когда Федору было 10–12 лет, его называли за огромную глубокомысленность Эразмом или Платоном. «Громадный (смело говорю так!) ум и удивительная совесть, неустанный труд, постоянное искание, замечательное понимание вопросов науки, сплетений жизни, характеров людей, необычайная, альтруистическая любовь и чувство правды, — это такое соединение, которое не могло не поставить его фактическим вождем, что бы он ни думал сам, что бы ни рисовали себе все мы. Это был — синтезирующий, нас объединяющий гений, живой и живящий, животворный. — Мы в различной степени были близки друг с другом. Но Федор был всем почти равно близок и нужен. Вездеприсутствие, всенеобходимость Федора была особенностью жизни кружка, хотя, может быть, мы того не сознавали. Когда он был тут, мы могли этого не замечать, как здоровый организм себя не чувствует. Но когда он отсутствовал, сейчас становилось неладно, и его же бранили: зачем тебя нет? и не стесняясь призывали: будь с нами! — А он неизменно все приписывал другим, радовался за всех. Тихий пламень деятельной святости исходил от него неиссякаемым источником света и тепла».
Ровесники его уважали за никогда не слабеющую твердость и любили, потому что он был добрый человек, верный друг, честный товарищ, активно благожелательный во всех случаях жизни. В личных же интересах он всегда был уступчив, ставил себя на последний план. Будучи превосходным учеником по занятиям, Федор отнюдь не принадлежал к типу «примерных», никогда не старался отличиться перед раздавателями благ. В поведении он всегда являл самостоятельность и перед начальством, которое его даже побаивалось, и перед товарищами. Нравственная смелость бессменно проникала во все его поступки.
В своем доме после смерти отца он стал авторитетом. Проявлял он в семье не одну любовь и неослабное сыновнее и братское внимание, но оказывался способен на решительное приятие страдания, когда того требовало благо близких. «Уже тогда Федор держался теории, что человеку должно твердо переносить не одну нравственную, но и физическую боль, и он осуществлял ее суровою практикою над собой. Вообще в ту пору, и в последующую, он проявлял своеобразную склонность к юношескому аскетизму или стоицизму. Если чего-нибудь очень хочется из радостей жизни, значит, нельзя; и он умел, следуя такому велению — отказаться от многого. То было, может быть, наивное, но крепкое обострение моральной строгости, которою проникнута была его благородная душа».
Оба брата были необычайно дружны. Их соединяли действительно братские отношения, хотя они мало были похожи характерами. Федор был на год с небольшим старше Сергея. «Последний проявлялся более блестяще, более агрессивно импонировал. Первый представлялся смирнее, тише и мягче. Младший иногда принимал даже тон старшего, на что тот реагировал как на должное, и выходило это мило и просто. Но в Федоре чувствовалась подлинная оригинальность и редкая глубина, которая вручала ему на деле определяющую роль. Происходило это не в силу властолюбивой воли, а благодаря могуществу большого, большого ума, который давал ему такое положение. Многие из находившихся в сфере влияния его молодого гения не отдавали себе отчета в наличности такого преобладания, потому что в нем не сказывалось никакого гнета. То был мягко светящий луч, и он не замечался, как привычное благо, как доброе здоровье».