Минималистское определение Церкви, данное Кальвином, приобретает теперь новое значение. Истинная церковь действительно находится там, где правильно проповедуется Евангелие и правильно совершаются таинства, — однако, считается, что это определение Церкви включает конкретную форму церковного устройства и управления. Кальвин, ссылаясь на "порядок, которым Господь хотел, чтобы управлялась Его Церковь", разработал подробную теорию церковного управления, основанную на его толковании Нового завета, с заимствованием множества терминов из сферы управления Римской империей. В отличие от утверждений радикалов, Кальвин настаивал на том, что конкретная форма церковного устройства и управления заложена в самом Священном Писании. Так, Кальвин считал, что принцип пасторского управления Церковью дан Самим Богом, как и разграничения между "служителями", "старейшинами", "диаконами" и "народом".
Кальвин провел важное разграничение между видимой и невидимой Церковью. На одном уровне Церковь — община верующих христиан — видимая группа. Однако, она также — общество святых и собрание избранных — невидимая сущность. В своем невидимом аспекте Церковь — невидимое собрание избранных, известное только Богу; в своем видимом аспекте она — общество верующих на земле. Первый подразумевает лишь избранных; второй включает как добрых, так и злых, избранных и отверженных. Первый — предмет надежды и веры, второй — современная реальность. Различие между ними является эсхатологическим: невидимая Церковь — Церковь, которая возникнет в конце времени, когда Бог осуществит последний суд над человечеством. Кальвин подчеркивает, что ради невидимой Церкви, истинного Тела Христова, все верующие обязаны оставаться в рамках видимой Церкви, несмотря на ее слабости. Но несмотря на все эти разграничения, существует лишь одна Церковь — единая сущность во главе которой стоит Христос.
Разграничение между видимой и невидимой Церковью имеет 2 важных следствия. Во — первых, предполагается, что видимая Церковь будет включать как избранных, так и отверженных. Об этом четко говорил Августин в своем осуждении донатистов, основываясь на притче о пшенице и плевелах (Мф.13:24–31). Проводить различия между ними, соотнося человеческие качества с божественной милостью, не входит в человеческую компетенцию (во всяком случае, доктрина Кальвина о предопределении исключает подобные основания для избранности).
Во — вторых, однако, необходимо задать вопрос о том, какие из различных видимых церквей соответствуют невидимой церкви. Кальвин, таким образом, признает необходимость формулировки объективных критериев, по которым можно судить о подлинности данной церкви. Указывается два подобных критерия: "Везде, где мы видим, что Слово Божье проповедуется чисто и к нему прислушиваются, а таинства совершаются в соответствии с наставлениями Христа, мы можем не сомневаться, что Церковь существует". Таким образом, истинная Церковь определяется не качеством членов, но присутствием установленных средств благодати. Интересно отметить, что Кальвин не следует примеру Мартина Букера — страсбургского реформатора, у которого он столь многому научился, который сделал дисциплину признаком истинной Церкви; хотя он и был озабочен необходимостью добродетельной дисциплины членов Церкви, Кальвин не считал, что это существенно для определения или оценки Церкви.
Взгляды Кальвина представляют также значение в связи с еще одним аспектом доктрины о Церкви. Определив природу Церкви, Кальвин переходит к исследованию ее значения. Зачем вообще необходима Церковь, имея в виду организацию, а не здание? Точно так, как Бог искупил людей в рамках исторического процесса через воплощение, Он освящает их в рамках того же процесса через организацию, специально посвященную этой цели. Бог использует определенные мирские средства для достижения спасения избранных. Церковь, таким образом, определяется как богоустановленная структура, в рамках которой Бог совершает освящение избранных. Кальвин выражает эту идею следующим образом: "Я начну с Церкви, в лоне которой Бог рад собирать Своих детей, не только для того, чтобы они питались ее помощью и служением, пока они младенцы и дети, но чтобы они находились под ее материнским попечением, пока они не возмужают и достигнут цели веры. "Итак, что Бог сочетал, того человек да не разлучает" (Мр.10:9). Для тех, кому Бог — Отец, Церковь — мать".
Кальвин подтверждает эту высокую доктрину о Церкви, цитируя 2 великие экклесиологические максимы Киприана Карфагенского: "Вы не можете иметь Бога своим Отцом, не имея Церковь своей матерью" и "Вне Церкви не существует надежды на прощение грехов или какое-либо спасение".