Будущий художник родился в местечке Кибарты бывшей Ковенской губернии в бедной еврейской семье. Его отец окончил раввинское училище, но затем, пристрастившись к иностранным языкам, стал зарабатывать на жизнь уроками. Знание французского языка особенно пригодилось ему, когда началось строительство Ковенской железной дороги, в котором участвовали инженеры из Франции. Левитан-старший стал служить на железнодорожной станции сначала переводчиком, а затем кассиром.
В 1869 году семья переехала в Москву. В 1873 году Исаак был принят в Московское училище живописи, ваяния и зодчества, где уже учился его старший брат Адольф. Семья жила бедно, а после смерти родителей (матери – в 1875 году и отца – в 1877 году) четверо детей, оставшихся сиротами, впали в крайнюю нужду. Известный художник М. В. Нестеров, бывший товарищем Исаака по училищу, вспоминал: «Левитан сильно нуждался, про него ходило в школе много полуфантастических рассказов. Говорили о его большом даровании и о великой нужде. Сказывали, что он не имел иногда и ночлега. Бывали случаи, когда Исаак Левитан после вечерних классов незаметно исчезал, прятался в верхнем этаже огромного старого дома Юшкова… выждав последний обход опустелого училища солдатом Земляникиным, прозванным «Нечистая сила», оставался один коротать ночь в тепле, оставался долгий зимний вечер и долгую ночь с тем, чтобы утром, натощак, начать день мечтами о нежно любимой природе».
Но, несмотря на голод и бесприютность, талантливый юноша учился гораздо лучше многих состоятельных одногруппников. Уже в 1875 году Левитана, как получившего «первые номера по художественным занятиям», награждают ящиком красок и дюжиной кистей (для нищего художника это было целое состояние), а в 1876–1879 годах освобождают от платы за обучение «ввиду крайней бедности» и как «показавшего большие успехи в искусстве». И в это же время Исааку пришлось почувствовать на себе всю тяжесть унижения человеческого достоинства. В 1879 году, после покушения народовольцев на жизнь Александра II, он, так же как и другие евреи, вместе с братом и сестрой Анной был выслан из Москвы (второй раз Левитана, уже известного живописца, вышлют в 1892 году). «Изгои» поселились на даче в подмосковной деревне Салтыковка. Жили впроголодь, и, чтобы добыть средства к существованию, начинающий художник создает свою первую картину «Вечер после дождя». Писать ее было трудно: Исааку, одетому в красную старую рубаху, дырявые брюки и опорки на босу ногу, приходилось прятаться за кустами, чтобы своим жалким видом не привлекать внимание нарядной гуляющей публики. Попросив одежду у шурина, он поехал в Москву, где на Покровке продал эту картину за 40 рублей и был несказанно счастлив.
В октябре 1879 года Левитан был зачислен советом преподавателей училища на получение стипендии им. В. А. Долгорукого. Тогда же им написана картина «Осенний день. Сокольники», сразу же приобретенная П. М. Третьяковым. Уже в ней проявилась основная черта левитановского творчества – неотделимость природы от мира человеческих чувств. Все в этой картине – и низкие серые облака, и стоящие вдоль пустынной аллеи деревья, горящие последней, увядающей красотой, и опавшая осенняя листва – созвучно печали одиноко бредущей женской фигурки (она была нарисована художником Николаем Чеховым). Такому восприятию природы научили молодого живописца его замечательные учителя – А. К. Саврасов и В. Д. Поленов, которые всячески развивали и поддерживали дарование Левитана. К примеру, Поленов привлекал его к работе над декорациями для Частной оперы С. И. Мамонтова, часто приглашал в свое имение «пожить и поработать». Но даже эти маститые мэтры не смогли изменить решение Совета училища о том, что дипломная работа их ученика не достойна большой серебряной медали. И, закончив в 1883 году учебу, Левитан получил не звание художника, а диплом учителя чистописания.
Уже первые его пейзажи, написанные в 1883–1884 годах, очаровывали необычайной свежестью живописи. Картины «Мостик. Саввинская слобода», «Саввинская слобода под Звенигородом» и этюд «Первая зелень. Май» (одноименное полотно было написано в 1888 году) наполнены ослепительным солнцем, сочной и ажурной зеленью трав и деревьев, ощущением радости от буйства красок и жизненных сил пробуждающейся природы. Между тем творческое настроение самого художника в это время было отнюдь не радостным. Крушение надежд, неотступная нужда, ощущение себя изгоем общества часто повергали его в состояние депрессии. В такие периоды он уходил от людей, из мягкого и деликатного человека превращался в молчаливого или грубого и непредсказуемого. Весной 1885 года он даже предпринял попытку самоубийства, первую и не последнюю.