Толком он нигде не работал, перебиваясь случайными заработками типа продажи билетов на ипподроме или работы вышибалой в танцзале. В 1937 году Рубенштейн стал в Чикаго профсоюзным организатором. Будучи секретарем местного отделения профсоюза мусорщиков, Яков был тесно связан с организованной преступностью, которая и держала в руках все профсоюзы Чикаго. Новых членов в профсоюз Яков иногда вербовал с помощью пистолета. Его босс был не лучше: он просто убил своего предшественника. (Рубенштейна тоже допрашивали по этому делу.) Профсоюзом Якова в Чикаго руководил некий Пол Дорфман, которого Роберт Кеннеди считал одним из самых опасных представителей организованной преступности.
Во время войны Джек Руби (так Яков Рубенштейн стал называть себя со временем, а в 1947 году официально принял это имя) служил в ВВС. Он отсиживался в тылу и прославился игрой в карты и торговлей всякой мелочью. Руби очень трепетно относился к своей национальности и при малейшей попытке окружающих сказать что-то против евреев сразу пускал в ход кулаки. Когда сержант как-то назвал его «еврейским ублюдком», Руби избил его до полусмерти. Как и Освальд, Руби дослужился только до рядового первого класса.
После войны он опять пытался торговать всякой всячиной — от штопоров до соли. Но не преуспел и в 1947 году переехал вслед за сестрой Евой в Даллас, где вскоре на одолженные ему братьями деньги открыл ночной клуб. Джек считал Даллас «дырой» и частенько повторял друзьям: «Зачем они меня сюда сослали? Не могли послать во Флориду?» Комиссия сенатора Кефовера по изучению организованной преступности еще в 50-е годы пришла к выводу, что Руби был членом мафии, которого чикагская «семья» направила в Даллас, чтобы представлять там ее интересы.
Действительно, вскоре Руби уже имел репутацию человека, у которого все «схвачено» в далласских правоохранительных органах. Судьи, полицейские и прокуроры, как правило, пользовались услугами его ночного клуба бесплатно. ФБР уже после покушения на Кеннеди признало, что хотело завербовать Руби в качестве осведомителя. Но после 9 бесед с ним якобы отказалось от этого, так как предоставленная Джеком информация не была полезной. Все эксперты сходятся во мнении, что ФБР никогда не стало бы встречаться с бесполезным человеком девять раз. По всей видимости, Руби все же информировал ФБР, особенно по вопросам борьбы с незаконным оборотом наркотиков. Например, глава далласской наркомафии Пол Джонс (тоже приехавший из Чикаго) регулярно общался с Руби вплоть до 22 ноября 1963 года. Он вспоминал потом, что Джека ему рекомендовали еще в Чикаго представители тамошней «семьи». Кстати, группа самого Джонса по контрабанде наркотиков из Мексики была ликвидирована ФБР, скорее всего, с помощью Руби.
В 50-е годы Руби участвует в нелегальных поставках оружия для партизан Фиделя Кастро. Тогда мафия надеялась, что Кастро ничем не отличается от продажных латиноамериканских диктаторов и после прихода к власти сохранит игорный бизнес и наркотрафик в руках «Коза ностры». Но Кастро прикрыл все злачные места и посадил в лагерь под Гаваной босса американской мафии в Гаване, известного нам Сантоса Трафиканте. В августе 1959 года Руби несколько раз летает на Кубу из Нового Орлеана (кстати, там его приметил не кто иной, как Уильям Годет, получавший вместе с Освальдом визу в Мексику). Руби навещает Сантоса Трафиканте в лагере и вскоре того освобождают. Скорее всего, Руби служил курьером по перевозке «выкупа»», в обмен на который Кастро разрешил Трафиканте покинуть Кубу.
Уже сидя в тюрьме после убийства Освальда, Руби как-то, будучи сильно взволнованным, пробормотал: «…Теперь они все разузнают про Кубу, разузнают про оружие, разузнают про Новый Орлеан, разузнают про все».
К 1963 году дела у Руби, который владел в Далласе двумя ночными клубами, шли неважно. Американская налоговая служба насчитала ему 21 тысячу долларов долгов, и Руби подумывал о продаже бизнеса. Только перед самым приездом в город Джона Кеннеди у него неожиданно появилось 7000 долларов и Руби явно воспрянул духом.
Скорее всего, еще занимаясь контрабандой оружия на Кубу, Руби познакомился в Новом Орлеане с Феррье, который занимался тем же самым. Во всяком случае, одна из служащих соседнего с ночным клубом Руби увеселительного заведения вспоминала, что Феррье настолько часто бывал у Руби, что она даже приняла его за менеджера. К тому же Руби, как и Феррье, был гомосексуалистом (он жил в квартире вместе с мужчиной). Есть свидетели, которые утверждают, что Освальд (которого, скорее всего, свел с Руби Феррье) состоял с Джеком в интимной связи. Так как Руби, как и Банистер, и Феррье, работал на ФБР, именно он, скорее всего, и был неофициальным контактером Освальда в Далласе. Руби знал Типпита, а один из помощников Джека походил внешне на Освальда, и именно его опознал как «Освальда» один из свидетелей на стрельбище.