Родина встретила патриотично настроенного молодого человека не очень приветливо. Несмотря на то что Иоффе принял лютеранство (это было необходимо для вступления в брак), в глазах российских чиновников он оставался евреем, что было серьезным препятствием для продолжения научной карьеры. Кроме того, звание, полученное в одном из престижнейших высших учебных заведений Европы, в России не признавалось. Все пришлось начинать сначала: Иоффе поступил на должность лаборанта в Политехнический институт, при этом, правда, молодому ученому было разрешено продолжать собственные исследования и читать лекции. В 1913 году Иоффе защитил магистерскую диссертацию и был избран профессором физики (эту должность он занимал до 1948 года). А в 1915 году Абрам Федорович защитил докторскую диссертацию и получил премию Российской академии наук. Еще через год он организовал в своей лаборатории семинар по новой физике. Его постоянными участниками были Петр Капица и Николай Семенов (впоследствии Нобелевские лауреаты), Яков Френкель, Петр Лукирский и другие выдающиеся физики.
Во время революции, как и многие его коллеги-ученые, Иоффе бежал в Крым, но через некоторое время его патриотизм все же пересилил страх перед новыми властями. Ученый решил остаться в Советской России. В ноябре 1918 года Академия наук избрала его своим членом-корреспондентом, а еще через два года – действительным членом. В 1918 году Иоффе возглавил физико-технический отдел Государственного рентгенологического и радиологического института в Петрограде, который был создан по его инициативе. В 1923 году это учреждение было реорганизовано в Физико-технический институт. (Абрам Федорович Иоффе был его директором до 1951 года, а сейчас институт носит имя ученого).
В 1919 году Иоффе организовал в Политехническом институте новый физико-механический факультет. Многие студенты этого факультета становились сотрудниками Физико-технического института еще до окончания своего обучения.
Тем временем финансовое положение Физико-технического института было не очень благополучным, хотя новые власти и пытались выделить для его функционирования возможные средства. В этой сложной ситуации в очередной раз сыграл свою роль административный гений Иоффе. Он, например, организовал продажу рентгеновских трубок и другого оборудования, изготавливаемого институтом, а в 1924 году создал специальную лабораторию, занимавшуюся исключительно прикладными проблемами. Говоря об организаторской деятельности Иоффе, конечно же, следует упомянуть и созданный в 1932 году при его непосредственном участии Ленинградский агрофизический институт.
До 1933 года ученый довольно много бывал за границей. В годы становления института его поездки были связаны с приобретением научного оборудования и литературы, прочными были и связи с зарубежными коллегами, особенно с германскими. Естественно, что Иоффе получал немало предложений от иностранных учебных заведений. В частности, в 1926 году он получил очень лестное и выгодное предложение от отделения Калифорнийского института в Беркли. Но ученый неизменно отвечал на такие предложения отказом, и это несмотря на все трудности, которые он испытывал на родине: недостаток финансирования, отставание в оборудовании, в конце концов – бытовые аспекты жизни в СССР. Правда, вряд ли можно сказать, что Абрам Федорович всегда ощущал особую благодарность родины за такую преданность. Дважды за время научной деятельности против ученого начиналась настоящая травля. Здесь свою роль играло и свободомыслие ученого, и его политическая пассивность (несмотря на то что Иоффе в 1942 году вступил в КПСС, внимания партийной деятельности он не уделял), и, конечно же, национальность.