После получения в 1875 году звания кандидата естественных наук Павлов поступил на третий курс Медико-хирургической академии в Санкт-Петербурге (реорганизованной впоследствии в Военно-медицинскую), где надеялся стать ассистентом Циона, который незадолго до этого был назначен ординарным профессором кафедры физиологии. Однако Цион уехал из России после того, как правительственные чиновники воспрепятствовали этому назначению, узнав о его еврейском происхождении. Отказавшись работать с преемником Циона, Павлов стал ассистентом в Ветеринарном институте, где в течение двух лет продолжал изучение пищеварения и кровообращения.
Летом 1877 года он работал в городе Бреслау, в Германии, с Рудольфом Гейденгайном, специалистом в области пищеварения. В следующем году по приглашению С. Боткина Павлов начал работать в физиологической лаборатории при его клинике в Бреслау, ещё не имея медицинской степени, которую Павлов получил в 1879 году. В лаборатории Боткина Павлов фактически руководил всеми фармакологическими и физиологическими исследованиями. В том же году Иван Петрович начал исследования по физиологии пищеварения, которые продолжались более двадцати лет. Многие исследования Павлова в восьмидесятых годах касались системы кровообращения, в частности, регуляции функций сердца и кровяного давления.
В 1881 году произошло счастливое событие: Иван Петрович женился на Серафиме Васильевне Карчевской, от которой у него родились четыре сына и дочь. Однако так хорошо начавшееся десятилетие стало самым тяжёлым для него и для его семьи. «Не хватало денег, чтобы купить мебель, кухонную, столовую и чайную посуду», — вспоминала его жена. Бесконечные скитания по чужим квартирам: долгое время Павловы жили вместе с братом Дмитрием в полагавшейся ему университетской квартире; тяжелейшее несчастье — гибель первенца, а буквально через год опять неожиданная смерть малолетнего сына; отчаяние Серафимы Васильевны, её продолжительная болезнь. Всё это выбивало из колеи, отнимало силы, столь необходимые для научных занятий.
И был такой год, который жена Павлова назовёт «отчаянным», когда мужество изменило Ивану Петровичу. Он разуверился в своих силах и в возможности кардинально изменить жизнь семьи. И тогда Серафима Васильевна, которая уже не была той восторженной курсисткой, какой начинала свою семейную жизнь, принялась подбадривать и утешать мужа и вывела-таки его из глубокой меланхолии. По её настоянию Иван Петрович вплотную занялся диссертацией.
После длительной борьбы с администрацией Военно-медицинской академии (отношения с которой стали натянутыми после его реакции на увольнение Циона) Павлов в 1883 году защитил диссертацию на соискание степени доктора медицины, посвящённую описанию нервов, контролирующих функции сердца. Он был назначен приват-доцентом в академию, но вынужден был отказаться от этого назначения в связи с дополнительной работой в Лейпциге с Гейденгайном и Карлом Людвигом, двумя наиболее выдающимися физиологами того времени. Через два года Павлов вернулся в Россию.
Впоследствии он напишет об этом скупо, несколькими фразами обрисовав столь многотрудное десятилетие: «Вплоть до профессуры в 1890 году, уже женатому и имевшему сына, в денежном отношении постоянно приходилось очень туго, наконец, на 41-м году жизни я получил профессуру, получил собственную лабораторию… Таким образом, вдруг оказались и достаточные денежные средства, и широкая возможность делать в лаборатории что хочешь».
К 1890 году труды Павлова получили признание со стороны учёных всего мира. С 1891 году он заведовал физиологическим отделом Института экспериментальной медицины, организованного при его деятельном участии; одновременно он оставался руководителем физиологических исследований в Военно-медицинской академии, в которой проработал с 1895 по 1925 год.
Будучи от рождения левшой, как и его отец, Павлов постоянно тренировал правую руку и в результате настолько хорошо владел обеими руками, что, по воспоминаниям коллег, «ассистировать ему во время операций было очень трудной задачей: никогда не было известно, какой рукой он будет действовать в следующий момент. Он накладывал швы правой и левой рукой с такой скоростью, что два человека с трудом успевали подавать ему иглы с шовным материалом».
В своих исследованиях Павлов использовал методы механистической и холистической школ биологии и философии, которые считались несовместимыми. Как представитель механицизма Павлов считал, что комплексная система, такая как система кровообращения или пищеварения, может быть понята путём поочерёдного исследования каждой из их частей; как представитель «философии целостности» он чувствовал, что эти части следует изучать у интактного, живого и здорового животного. По этой причине он выступал против традиционных методов вивисекции, при которых живые лабораторные животные оперировались без наркоза для наблюдения за работой их отдельных органов.