Говорят, Дассен до конца жизни так и не мог разобраться, где его родина. Бабка Джо по отцовской линии была родом из Одессы. Его отец, Жюль Дассен, родился в Америке, а мать, Беатрис (Би) Лонер, родом из Венгрии. Их первенец Джозеф появился на свет 5 ноября 1938 года в Нью-Йорке, но вскоре родители переехали в Лос-Анджелес и поселились неподалеку от легендарных киностудий. Такой выбор был не случайным, потому что Дассен-старший в то время подвизался на ролях второго плана и пытался создать себе имя в театральном мире. Актером он был слабым, и семью, которая вскоре пополнилась двумя дочерями – Жюли и Ришель (Рики), – приходилось содержать матери. Беатрис была довольно известной скрипачкой, играла в женском оркестре и работала с такими грандами классической музыки, как Пабло Казальс. Но Жюль Дассен сумел проявить себя как режиссер: поначалу он работал ассистентом у самого Хичкока, а затем начал снимать фильмы самостоятельно. Финансовое положение семьи стало надежным, в доме царила любовь, в которой купался Джо. Родители обожали его и ни минуты не сомневались, что сына ждет блестящее будущее. Сам же Джо с детства не боялся никакой работы и, хотя был на вид беспечным и легкомысленным, умел самостоятельно принимать решения и нести за них ответственность. Он всегда заботился о сестрах, ощущая себя по-настоящему старшим братом.
Но тихое благополучие оказалось недолгим: сразу после окончания Второй мировой войны Америка погрузилась в кошмар «охоты на ведьм». Жюлю Дассену, к тому времени уже знаменитому режиссеру, припомнили его фильмы о жизни рядовых американцев, показавшие, как часто из-за неудачных поисков работы люди становились на скользкую дорогу воровства и убийств. Он оказался в списке тех самых 200 деятелей культуры, обвиненных сенатором Маккарти в симпатиях к Москве. Глава семьи лишился работы, бывали дни, когда все сидели буквально на чемоданах, ожидая высылки.
Дассены вынуждены были эмигрировать, некоторое время скитаясь по Европе в поисках пристанища. Провожая с палубы тонувшие в смоге небоскребы, Джо еще не знал, что отныне его домом станет весь мир, и ни одну страну в отдельности он не сможет назвать родиной. Об этих скитаниях Джо позже рассказал в своей знаменитой песне «Америка». Наконец, когда Джо исполнилось 12 лет, родители решили обосноваться во Франции. За время мытарств их сын слету выучил несколько языков и диалектов и сменил 14 школ. Впрочем, мальчишке нравилась бродячая жизнь и переезды из страны в страну, но только во Францию он влюбился самозабвенно. Так, никогда не сменив американского гражданства, в душе Дассен превратился в истинного француза. Уже будучи знаменитым, он, отвечая на вопросы журналистов, признался: «Я влюбился в эту страну, едва приехав сюда. Несмотря на то что у меня американский паспорт, в душе я стопроцентный француз. Они умеют жить. Умеют ценить хорошую еду, хорошее вино… и красивых женщин. Они по-настоящему наслаждаются жизнью. В Америке люди настолько напряжены, атмосфера настолько отравлена агрессивностью и злобой, что трудно от чего бы то ни было получить удовольствие…»
Семья обосновалась в Париже. Несмотря на изгнание, Дассены не испытывали финансовых затруднений, и Джо отправился учиться в дорогой элитный коллеж Розей в Швейцарии. В 1951 году он едет в Италию, в 1953-м поступает в международную школу в Женеве, а год спустя отправляется в Гренобль, где получает степень бакалавра – диплом, который в Швейцарии не выдавался. К 16 годам Джо превратился в очень красивого юношу с чуть кокетливым выражением глаз. Он бегло говорил на трех языках, увлекался лыжами и плаванием и считал себя счастливым человеком. Но оказавшийся для него таким неожиданным развод родителей ударил по нервам сильнее, чем эмиграция. Отец почти сразу связал свою судьбу со знаменитой греческой актрисой и депутатом парламента Афин Мелиной Меркури, а мать с тех пор предпочитала оставаться в тени. Чтобы как-то оправиться и привыкнуть к мысли о разлуке родителей, Джо с тремя сотнями франков в кармане возвращается в Америку и поступает в университет Анн-Арбор (Мичиган). Вначале своей профессией он избрал медицину, но, проучившись три года, понял, что не выдерживает вида крови и перевелся на факультет этнографии, где изучал санскрит, итальянский и русский языки.
Все студенческие годы, чтобы не зависеть от родных и их поддержки, он вечерами подрабатывает мусорщиком, мойщиком посуды, барменом, сантехником, библиотекарем, проводит психологические тесты… В конце концов ему предлагают место водителя-дальнобойщика, и в течение шести месяцев он ездит из Анн-Арбор в Сан-Франциско и обратно. Это приносило неплохой доход, но он проводил в пути четыре дня из семи, что не лучшим образом сказывалось на его успеваемости. Чтобы сдать экзамены, Джо пришлось отказаться от этой работы. На каникулах он объехал автостопом всю страну, побывал в Вирджинии, на Западном побережье, во Флориде, Новом Орлеане, Техасе, Неваде, Сан-Франциско, Айдахо, а также в крупнейших национальных парках.