После успешного окончания кавалерийской школы в сентябре 1927 года красный командир Панюшкин был направлен на службу в пограничные войска ОГПУ на Дальний Восток. Служил в 59‑м Приморском кавалерийском пограничном отряде вначале в должности помощника начальника заставы, а затем – командиром сабельного дивизиона маневренной группы. В апреле 1933 года был переведен на работу в 58‑й Гродековский погранотряд на должность коменданта Барабаш-Левадовского погранучастка Гродековского, ныне Пограничного района. Служба в пограничных войсках приучила Панюшкина к воинской дисциплине, собранности, требовательности.
В период службы в Гродековском погранотряде Панюшкин был привлечен к реализации операции «Фальшивомонетчики», которую проводил на Дальнем Востоке центральный аппарат ОГПУ. Он был переведен на оперативную работу и прикреплен к Владивостокскому оперсектору ГПУ. В ходе реализации операции Панюшкин выезжал в служебные командировки в Маньчжурию, где с успехом руководил переданной ему на связь агентурой.
В мае 1935 года молодой оперработник был зачислен слушателем на основной факультет Военной академии РККА имени М. В. Фрунзе. После окончания академии в августе 1938 года он направляется на работу в органы НКВД СССР. Назначается на должность помощника начальника отделения, а в декабре 1938 года становится начальником спецотдела Управления государственной безопасности НКВД СССР.
В июле 1939 года А. С. Панюшкина командируется в Китай в качестве уполномоченного Совнаркома СССР по реализации торгового соглашения с этой страной. В том же месяце он назначается Полномочным представителем СССР в Китае, одновременно являясь главным резидентом НКВД в этой стране, под началом которого действовало 12 резидентур внешней разведки.
Центр тяжести всей разведывательной работы в Китае в то время переместился во временную столицу Чунцин, где находилось китайское гоминьдановское правительство. Задачи перед 34‑летним резидентом и его подчиненными стояли значительные. Необходимо было постоянно отслеживать намерения японской военщины в отношении СССР и Китая, не просмотреть возможного нападения Квантунской армии на советский Дальний Восток. Перед советскими представителями стояла также задача удержать центральное правительство Китая на позициях активного сопротивления японской агрессии.
Советским разведчикам под руководством Панюшкина удалось приобрести ценных источников информации в китайской разведке, ЦИК Гоминьдана и других важных объектах проникновения. Сам резидент установил доверительные отношения с рядом лиц из окружения Чан Кайши, выступавших за укрепление дружбы с Советским Союзом и продолжение войны с Японией.
О том, как работал Панюшкин на начальном этапе своего пребывания в Китае, говорится в одном из документов разведки, относящихся к тому периоду:
«Понимая, что для успешной работы в чрезвычайно запутанной внутриполитической и международной обстановке необходим широкий круг контактов среди государственных, политических и общественных деятелей страны, Панюшкин начал их энергично устанавливать. Не было ни одного дня, по наблюдениям очевидцев из числа оперативных работников резидентур, чтобы он не встречался с кем-либо из авторитетных деятелей Гоминьдана и правящих кругов Китая и не проводил с ними бесед. Цель – воздействие на них в выгодном плане, поиск среди них союзников, заинтересованных в том, чтобы Япония не смогла склонить Китай к капитуляции.
Главному резиденту удалось установить доверительные отношения с рядом лиц, стоявших на позициях укрепления дружбы с СССР, продолжения антияпонской войны и сотрудничества Гоминьдана и КПК, которые были в курсе того, что происходило в высших эшелонах власти и какие решения принимались по различным аспектам внутренней и внешней политики и в определенной степени могли оказать влияние на принятие решений.
В результате Панюшкин быстро вошел в курс происходящих в Китае событий и почти ежедневно информировал о них руководство страны и органов госбезопасности».
При непосредственном участии Панюшкина советским военным советникам удалось убедить Чан Кайши и других китайских военачальников продолжать сопротивление наступлению японских войск, разработав оперативный план обороны города Чаньша. В этой операции, длившейся около 20 дней, японцы потеряли 30 тысяч солдат и офицеров, тогда как потери китайской армии были значительно меньше. Бои в районе Чаньша подняли боевой дух и настроение не только армейских кругов, но и широких народных масс Китая.
Историк Анатолий Горин, изучавший деятельность А. С. Панюшкина в Китае в тот период, в одной из своих работ отмечал:
«Главный резидент, он же Полпред Советского Союза А. С. Панюшкин, приложил много усилий для предотвращения конфронтации между Гоминьданом и компартией, а также недопущения гражданской войны в стране в 1940–1941 годах.