Различные выборы на федеральном и местном уровнях в 1838 г. показали, что Демократическая партия теряет свои позиции. Виги завоевывали новые места в Конгрессе и легислатурах штатов.
На фоне финансово-экономического кризиса президент пытался добиться отделения государственных финансов от частных банков, создав специальное государственное финансовое учреждение с центром в Вашингтоне и отделениями в столицах штатов. Депутаты от Партии вигов в Конгрессе решительно выступили против намечаемых мер, заявляя, что правительство вторгается в священную область частного бизнеса, что действия Ван Бюрена приведут к сокращению, если не крушению, системы займов и кредита. Виги требовали восстановления национального частного банка, который был ликвидирован при Джексоне. К вигам присоединились некоторые демократы, полагавшие, что государственное финансовое учреждение на самом деле окажется чем-то подобным тому самому Второму банку, против которого ранее шла ожесточенная борьба. Так в Конгрессе сформировалась группа консервативных демократов, которые фактически перешли в оппозицию к президенту, а затем примкнули к вигам. Дебаты в Конгрессе продолжались до 1840 г. В конце концов план создания независимой от частного бизнеса правительственной финансовой системы был отвергнут.
Ван Бюрен продолжал политику Джексона по дальнейшему оттеснению индейских племен на запад. Его представителям удалось подписать около 20 договоров с вождями племен. Однако часть индейцев упорствовала, отказываясь двигаться по «дороге слез». Особенно непокорным оказалось племя чероки, которое отказалось сниматься с места, несмотря на подписанный договор. Ван Бюрен в 1838 г. отдал приказ о насильственном выдворении племени. Непокорных вождей бросали в особые лагеря, где они подвергались издевательствам. В конце концов свыше 40 тыс. индейцев были переселены на территорию Теннесси вопреки их воле.
Одновременно во Флориде предпринимались попытки насильственного переселения племени семинолов. Их сопротивление оказалось настолько сильным, что в конце концов с их вождями был подписан договор, давший им возможность оставаться на строго ограниченных территориях в пределах полуострова.
Ван Бюрену пришлось столкнуться со все более обострявшейся проблемой рабства. В то время как на Севере усиливалось аболиционистское движение, представители которого буквально атаковали Конгресс и президента своими резолюциями и петициями, на Юге сторонники Демократической партии выступали с заявлениями о поддержке президента только в том случае, если он твердо выскажется в пользу сохранения рабовладельческой системы. Попытки Ван Бюрена отделаться общими заявлениями, его утверждения, что вопрос о рабстве не является политическим, еще больше подрывали его авторитет.
С проблемой рабства оказался связан вопрос о судьбе Техаса. В конце своего 2-го срока Джексон объявил об отсрочке признания Республики Техас, опасаясь войны с Мексикой. В то же время на Севере просто боялись, а на Юге радовались вероятному присоединению Техаса к США: там было широко распространено рабовладение. Занимая еще более осторожную позицию, чем предшественник, Ван Бюрен окончательно растерялся, когда уже в августе 1837 г. Техас обратился с предложением о вступлении в США. После консультаций и раздумий президент заявил об отказе принять Техас, приведя в качестве аргумента «конституционные препятствия», которых на самом деле не было. Главное, что тревожило главу государства в данном случае, было понимание, что принятие Техаса резко укрепит позиции рабовладельцев, чего он не желал, стремясь сохранить статус-кво. В любом случае новая отсрочка в решении вопроса о Техасе также не способствовала авторитету Ван Бюрена.
На президентских выборах 1840 г. демократы вновь выдвинули Ван Бюрена. Однако на съезде в мае того года значительная часть участников отказалась поддержать безликого Р. Джонсона на пост вице-президента, фактически противопоставив себя этим Ван Бюрену, который настаивал на его кандидатуре. Решено было даже передать вопрос на рассмотрение съездов партии по штатам. Фактически в Демократической партии произошел раскол. Этим воспользовались виги, выдвинувшие Уильяма Гаррисона, который и добился победы. Неопределенность, нерешительность Ван Бюрена на протяжении всех четырех лет его правления подрывали его власть и привели к поражению.
Удалившись после выборов в небольшое имение в Киндерхуке, бывший президент продолжал следить за изменениями, происходившими в стране и прежде всего в родном штате Нью-Йорк. В соответствии с настроениями, господствовавшими в Нью-Йорке — как в городе, так и за его пределами — он стал высказываться против рабства и даже принял участие в основании новой партии, которая получила название Партии свободной земли (