В 1953 году, после окончания ЛЭТИ, Алфёров был принят на работу в Физико-технический институт им. А.Ф. Иоффе. В первой половине 50-х годов перед институтом была поставлена проблема создать отечественные полупроводниковые приборы для внедрения в отечественную индустрию. Перед лабораторией, в которой Алфёров работал младшим научным сотрудником, стояла задача: приобретение монокристаллов чистого германия и создание на его основе плоскостных диодов и триодов. Алфёров участвовал в разработке первых отечественных транзисторов и силовых германиевых приборов. За комплекс проведенных работ в 1959 году он получил первую правительственную награду, в 1961 году им была защищена кандидатская диссертация.
Будучи кандидатом физико-математических наук, Алфёров мог перейти к разработке собственной темы. В те годы была высказана мысль использования в полупроводниковой технике гетеропереходов. Создание совершенных структур на их основе могло привести к качественному скачку в физике и технике. Однако попытки реализовать приборы на гетеропереходах не давали практических результатов. Причина неудач крылась в трудности создания близкого к идеальному перехода, выявлении и получении необходимых гетеропар. Во многих журнальных публикациях и на различных научных конференциях неоднократно говорилось о бесперспективности проведения работ в этом направлении.
Алфёров продолжал технологические исследования. В основу их им были положены эпитаксиальные методы, позволяющие влиять на фундаментальные параметры полупроводника: ширина запрещенной зоны, размерность электронного сродства, эффективная масса носителей тока, показатель преломления внутри единого монокристалла. Ж.И. Алфёров с сотрудниками создали не только гетероструктуры, близкие по своим свойствам к идеальной модели, но полупроводниковый гетеролазер, работающий в непрерывном режиме при комнатной температуре. Открытие Ж.И. Алфёровым идеальных гетеропереходов и новых физических явлений – «суперинжекции», электронного и оптического ограничения в гетероструктурах – позволило еще и кардинально улучшить параметры большинства известных полупроводниковых приборов и сформировать принципиально новые, в особенности перспективные для применения в оптической и квантовой электронике. Новый период исследований гетеропереходов в полупроводниках Жорес Иванович обобщил в докторской диссертации, которую защитил в 1970 году.
Работы Ж.И. Алфёрова были по заслугам оценены международной и отечественной наукой. В 1971 году Франклиновский институт (США) присуждает ему престижную медаль Баллантайна, называемую «малой Нобелевской премией» и учрежденную для награждения за лучшие работы в области физики. В 1972 году следует самая высокая награда СССР – Ленинская премия.
С использованием технологии Алфёрова в России (впервые в мире) было организовано изготовление гетероструктурных солнечных элементов для космических батарей. Одна из них, установленная в 1986 году на космической станции «Мир», проработала на орбите весь срок эксплуатации без существенного снижения мощности.
На основе работ Алфёрова и его сотрудников созданы полупроводниковые лазеры, работающие в широкой спектральной области. Они нашли широкое использование в качестве источников излучения в волоконно-оптических линиях связи повышенной дальности.
С начала 1990-х годов Алфёров занимался исследованием свойств наноструктур пониженной размерности: квантовых проволок и квантовых точек. В 1993–1994 годах впервые в мире реализуются гетеролазеры на основе структур с квантовыми точками – «искусственными атомами». В 1995 году Ж.И. Алфёров со своими сотрудниками впервые демонстрирует инжекционный гетеролазер на квантовых точках, работающий в непрерывном режиме при комнатной температуре. Исследования Ж.И. Алфёрова заложили основы принципиально новой электроники на основе гетероструктур с широким диапазоном применения, известной ныне как «зонная инженерия».
В 1972 году Алфёров стал профессором, а через год – заведующим базовой кафедрой оптоэлектроники ЛЭТИ. С 1987 по май 2003 года – директор ФТИ им. А.Ф. Иоффе, с мая 2003 по июль 2006 года – научный руководитель. С момента основания в 1988 году декан физико-технического факультета СПбГПУ.
В 1990–1991 годах – вице-президент АН СССР, председатель Президиума Ленинградского научного центра. Академик АН СССР (1979 год), затем РАН, почётный академик Российской академии образования. Главный редактор «Писем в Журнал технической физики». Был главным редактором журнала «Физика и техника полупроводников».