После 1850 года постоянная занятость на заводах стала более частым случаем, численность временных работников пошла на убыль. С тех пор стали отчетливее различать «хороших» и «плохих» бедняков, честных тружеников и бродяг. Но тряпичники, пребывающие в самом нижнем слое рабочего класса, оставались париями. «На улицах Нёв-Сен-Медар, Трипре или Буланже, — читаем в солидном медицинском журнале того времени, — можно видеть в любую погоду бегающих по улицам людей в лохмотьях, без рубах, без чулок и часто без ботинок […]. Они таскают на себе разнообразные вещи, подобранные в столице среди нечистот, и смрад последних, похоже, настолько неотделим от их естества, что они сами кажутся движущимися кучами навоза».
Тряпичники всячески избегали столкновений с полицией и правосудием. Статистические отчеты о состоянии преступности показывают, что с 1840-го по 1855 год они, хотя и являлись наряду с судебными исполнителями и актерами представителями трех самых презираемых ремесел, не числятся среди приговоренных к каторге. Тем не менее, уступая давлению «уважаемых членов общества» и гигиенистов, полиция продолжала множить предписания, регламентирующие их работу.
В августе 1872 года префект полиции Леон Рено решил ограничить число тряпичников, им было дано два месяца на то, чтобы обзавестись бляхой нового образца. Новый жетон, подтверждавший их личность, затребовало менее 6000 человек, хотя раньше в столице одновременно имели хождение от тридцати до сорока тысяч жетонов старого образца, не считая сезонных рабочих, временно занятых в других областях: на строительстве или в овощеводстве. Все, кто вовремя не обзавелся удостоверением нового образца, после напрасно пытались получить бляху. Тогда, как всегда случается при таких обстоятельствах, возникла масса подделок, и полиция закрыла на это глаза. Передышка, однако, длилась недолго: 24 ноября 1883 года появился подписанный Эженом Пубелем указ, полностью перевернувший жизнь тряпичников и облегчивший контроль над ними. Но их не перестали воспринимать как отверженных. В 1920 году, когда обнаружилось несколько случаев заболевания чумой, парижане именно их назвали виновниками.
И саму эпидемию окрестили «чумой тряпичников». Эти люди так и оставались прослойкой, подозреваемой во всех бедах, эпидемиях и небезопасных городских происшествиях, в том числе воровстве и насилии.
Хроникеры и священники попытались реабилитировать образ «клюкаря». Так, Шарль Ланселен после изучения обитателей Сите-Доре в 1900 году свидетельствует: «Для нас дело совести объявить, что мы не обнаружили в этом скоплении бедных и смиренных людей никого, кроме существ добропорядочных […]. По нашему мнению, в три часа ночи на углу улицы лучше столкнуться с тряпичником, чем с некоторыми финансистами в три часа дня — под перистилем Биржи: тут уж сомневаться нечего».
Некоторые артисты и писатели представляли тряпичника этаким Диогеном, который презирает цивилизацию и ограждает рубищем личную свободу. Иногда его происхождение лишь подстегивало их интерес. Действительно, в гетто, где ютились эти парии, обычно смешивались выходцы из всех социальных прослоек: безработные, бывшие каторжники, проигравшиеся азартные игроки, «светские дамы», угодившие в какую-нибудь невероятную авантюру, работяги, покалеченные на производстве, люди искусства, заявлявшие, что «их не понимают»… Газетчики приводили курьезные анекдоты, некогда приключившиеся кое с кем из них. Например, в одном очерке начала XX века читаем: «Тряпичник Лиар учился на филологическом факультете. Читал по латыни и цитировал на греческом. Слух об этом прошел по столице, и Париж увлекся Лиаром; желтые листки цитировали его остроты, хроникеры, романисты и художники его навешали и напрасно старались наводящими вопросами пролить какой-то свет на тайну его прошлого — Лиар оставался загадкой».
В другой раз журнал «Иллюстрасьон» напечатал материал о встрече в одном из бистро некоего романиста и «клюкаря»-доктора, который обследовал больных, считал пульс, смотрел язык, расспрашивал, а потом выписывал рецепт или советовал провести несколько дней в постели. Заинтригованный, писатель переоделся тряпичником и приблизился к странному доктору с просьбой его осмотреть. Он получил следующее предписание: «Чтобы излечиться, тебе следовало бы разделить нашу нужду и вмешаться в те кровавые схватки, какие подчас вспыхивают меж нами». На таком рецепте выдавший его расписался, добавив рядом с подписью: «ДМП» (доктор медицины, Париж). В Сите-Доре некий папаша Мартен занимался изготовлением зонтов из добытых материалов. Бывший железнодорожник, он лишился должности после двух несчастных случаев во время службы.