Около трех лет пробыл он в Оптиной, исполняя разнообразные послушания. Смерть старца Макария (в 1860 году) нарушила течение его мирной жизни. Михаил стал все чаще думать об Афоне. Монашество афонское со своими тысячелетними традициями, с идеалами высокосозерцательной жизни давно привлекало его внимание. На Афоне, вдали от мiра, в безмолвии мечтал он созидать свое спасение. Там безвестные мiру иноки совершали высокие аскетические подвиги, восходили на высшие степени христианского совершенства. Там при полной бедности внешней обстановки господствовало духовное довольство и ярким пламенем горела чистая любовь к Богу и людям. Там ревностно и благолепно совершались продолжительные церковные богослужения. Одним словом, Афон вполне отвечал его желаниям. Ему захотелось самому повидать ту жизнь, поучиться ей у богомудрых старцев, которых немало было в то время на Афоне. Недолги были сборы. Взяв благословение у начальника скита отца Амвросия, Ольшанский отправился в путь.
Михаилу было 22 года, когда он прибыл на Афон и вступил в братство обители святого великомученика Пантелеимона. Скоро острый ум и постоянная сосредоточенность молодого послушника обратили на него внимание старцев обители. Он был послан в здешнюю афонскую греческую школу в Карее для изучения греческого языка. В 1865 году Михаил был пострижен в монашество и наречен Матфеем. А через два года послан в посольскую церковь Константинополя певчим.
У него рано развилась охота к пению. В Оптиной он пел на клиросе и был канонархом. И здесь, на Афоне, эта склонность сохранилась у него до самой смерти. Иногда, уже будучи почтенным старцем, он раскрывал ноты и один в своей келье распевал догматики.
Занимая послушание певчего при посольстве, отец Матфей не оставлял и своих работ по самообразованию. Он брал уроки турецкого языка, французского, тщательно изучал греческий, древний и новый языки, пополняя в то же время свои знания и по общеобразовательным предметам.
В 1873 году он был вызван в монастырь и назначен помощником библиотекаря отца Азария, с которым уже давно имел деловую и духовную связь. В следующем году он был послан опять в Константинополь по делу греко-русского процесса и был там до конца 1875 года. В 1878 году отец Матфей после смерти библиотекаря, почтенного старца монаха Азария, заместил его должность старшего библиотекаря и вместе с тем монастырского граматевса (секретаря). Такое назначение вполне соответствовало его склонности. В библиотеке он проводил все свое время, роясь в книгах, знакомясь с их содержанием. Тридцать три года заведовал он ей, и за этот период времени он сделал огромную работу для расширения и обогащения монастырской библиотеки, которая в его время благодаря его любви и неусыпным заботам встала в один ряд с лучшими книгохранилищами Афона – Ватопедским и Великой Лавры. Чтобы судить о трудолюбии отца Матфея, о его любви к книгам, надо принять во внимание то, что при нем библиотека увеличилась более чем вдвое, а число книг и рукописей достигло почтенной цифры (более 20 000 томов). Он сам присматривал текущую литературу и все полезное выписывал для монастыря.
Отец Матфей не только привел библиотеку в образцовый порядок, обогатил ее многими ценными экземплярами греческих и южнославянских рукописей, имеющих важное научное значение, но его стараниями само здание старой библиотеки было вновь отреставрировано и увеличено прибавлением нового этажа. Как истинный любитель древностей, он с любовью относился к разным древним достопримечательностям. Его трудами была приобретена и впоследствии значительно увеличена новыми редкими экземплярами нумизматическая коллекция при монастырской библиотеке. Немало терпения, времени употреблялось им, чтобы научно определить значение какой либо истертой монеты или исторического достоинства какого-нибудь пожелтевшего листа пергамента. Как знаток византийской письменности, археолог и опытный палеограф, отец Матфей был много полезен молодым ученым, приезжавшим на Афон за материалами.
Каждому, кто посещал Святую Гору с научной целью, приходилось иметь дело с отцом Матфеем. Он радушно принимал всякого приходящего к нему за советом или какой либо справкой и с полной готовностью делал для просящего все, что мог. С обширными разнообразными сведениями по многим отраслям знаний в нем соединялась готовность поделиться этими сведениями с каждым человеком, искавшим общения с ним. Обладая громадной памятью, он и сам был богатой живой библиотекой, которой можно было пользоваться всякому. У него всегда можно было встретить теплый прием и участливое слово. Простота общения, мягкость и деликатность делали его приятным собеседником. Он переписывался с такими выдающимися востоковедами России того времени, как И. С. Пальмов, А. А. Дмитриевский, Н. Ф. Красносельцев, И. Е. Троицкий, А. И. Алмазов, В. М. Истрин, Е. К. Редин, Н. П. Кондаков, А. С. Павлов, П. А. Сырку и другие, письма которых сохранены в архиве монастыря. [100]
Также он имел переписку с известными французскими учеными Емилем Леграном [101] и Луи Пети. [102]