Вскоре состоялись и первые научные экспедиции, организованные С.О. Макаровым. Первое плавание продолжалось с 29 мая по 14 июня 1900 г. В районе южной оконечности Шпицбергена в корпусе обнаружилась течь, и ледоколу пришлось вернуться обратно в Ньюкастл для ремонта. Но повреждения корпуса были незначительными и в целом экспедиция оказалась достаточно результативной. Второе плавание началось 14 июля, а закончилось 16 августа того же года. Маршрут его также проходил в районе Шпицбергена. Еще один поход состоялся в период с 16 мая по 1 сентября 1901 г. Льды в районе северной части Новой Земли оказались непроходимыми для «Ермака». Тем не менее удалось достигнуть немалых успехов – выполнить два рейса к Земле Франца-Иосифа, составить карту Новой Земли от Сухого Носа до полуострова Адмиралтейства, собрать большое количество материалов по гляциологии, глубоководным и магнитным исследованиям.
Но это плавание на 33 года поставило точку в полярных экспедициях «Ермака». В октябре ледокол был передан в ведение Комитета по портовым делам и занимался обслуживанием торговых портов Балтики. За первые десять лет работы на Балтике «Ермак» провел во льдах свыше 618 судов.
В феврале 1918 г. в связи с приближением к Ревелю немецких войск началась эвакуация кораблей Балтийского флота. Эта операция прошла успешно именно благодаря «Ермаку». Во время «Ледового похода» из Гельсинг-форса в Кронштадт, продолжавшегося с 12 марта по 22 апреля, было выведено 236 кораблей и судов, в том числе шесть линкоров и пять крейсеров.
Вплоть до 1934 г. ледокол обеспечивал навигацию во льдах Балтики, а в том году впервые после 1901 г. вышел на штурм арктических льдов. Следующие пять лет работа ледокола строилась по следующей схеме: в течение года он работал в Арктике, а в конце навигации возвращался в Ленинград и занимался проводкой судов на Балтике.
В 1938 г. ледокол участвовал в эвакуации полярников станции «Северный полюс-1». На «Ермак» перешли спасенные ледоколом «Таймыр» зимовщики (И.Д. Папанин, П.П. Ширшов, Э.Т. Кренкель и Е.К. Федоров) и было перегружено снаряжение станции. В декабре 1939 г., совершив переход через зону боевых действий, ледокол перешел из Мурманска в Лиепаю, а затем – в Ленинград. На Балтике ему предстояло трудиться и воевать до 1947 г.
Когда 30 ноября 1939 г. началась Советско-финская война, «Ермак» продолжал освобождать изо льда как торговые суда, так и боевые корабли. На ледоколе было установлено зенитное вооружение, и не напрасно: воздушные атаки противника приходилось отражать неоднократно.
Начало Великой Отечественной войны «Ермак» встретил, находясь на ремонте в Ленинградском порту. 27 июня 1941 г. ледокол был передан Краснознаменному Балтийскому флоту вместе с экипажем и всем имуществом. На ледоколе вновь установили артиллерийское вооружение. В ноябре он был направлен на обеспечение ледовой проводки судов между Ленинградом и Кронштадтом. За ноябрь и декабрь «Ермак» сделал 16 рейсов, каждый из которых был связан с немалой опасностью (так, 8 декабря в районе Петергофа ледокол подорвался на мине, получил значительные повреждения, но остался в строю). Всего за первую военную навигацию «Ермак» осуществил проводку 89 судов. Но начиная с января 1942 г. из-за отсутствия угля он почти два с половиной года простоял без движения. Эксплуатация ледокола стала возможной лишь в 1944 г., после снятия блокады Ленинграда. 6 ноября 1944 г. «Ермак» был демобилизован из состава флота. На ледокол возвратился экипаж (большая часть которого ушла воевать на сухопутный фронт) и в декабре началась его 46 я ледовая навигация.
В августе 1946 г. благодаря «Ермаку» удалось спасти плавучий док, выброшенный при буксировке на камни в восьми милях от шведского порта Гётеборг. Док стянули с камней и отбуксировали в порт назначения Берген. В 1947 г. «Ермак» впервые после войны вышел в Арктику, где совместно с ледоколом «Северный полюс» занимался проводкой караванов в Карском море. В 1948—1950 гг. ледокол стоял на ремонте в порту Антверпен.
28 июля 1950 г. «Ермак» возвратился в Мурманск. Теперь он был приписан к Мурманскому торговому порту и находился в ведении Архангельского (с 1953 г. – Мурманского) морского арктического пароходства. В 1953—1954 гг. на ледоколе установили новейшую радиоаппаратуру, радиолокатор, радиопеленгатор. В это же время на нем проходили испытания одного из первых образцов вертолета Ми-1. В 1954—1955 гг. «Ермак» был флагманом ледокольного флота в западном секторе Арктики, где оставался единственным на тот момент линейным ледоколом. За время работы в Арктике ему довелось выполнять самые разные задачи: проводку и освобождение затертых льдами, терпящих бедствия судов, помощь отрезанным от Большой земли геологическим партиям.