Выпускник Николаевского инженерного училища (1880) и Николаевской инженерной академии (1892), занимал военные должности на Сестрорецком и Тульском оружейных заводах, а по окончании академии был отправлен на стажировку во Францию, после чего Военным министерством был привлечен к проекту соединения железных дорог Российской империи и Великого княжества Финляндского, за разработку которого удостоился высочайшей благодарности. Автор статьи «Водоснабжение населенных мест», опубликованной в «Инженерном журнале», а затем вышедшей отдельным оттиском и вторым изданием.
Однако первая отечественная революция военного инженера превратила в полицейского. В звании инженер-полковника с должности начальника инженеров Туркестанского военного округа из Военного министерства Алексей Порфирьевич переведен в Министерство внутренних дел и назначен вице- губернатором в Воронеж (28.06.1906), где за отличие в подавлении антиправительственных выступлений был пожалован званием инженер-генерал-майора и назначен Киевским губернатором (25.08.1906). В Киеве инженер-генерал- майор Веретенников был приговорен малороссийскими эсерами к смерти, после этого Киевский генерал-губернатор В. А. Сухомлинов попросил премьер-министра П. А. Столыпина перевести Веретенникова в другую губернию, ибо его пребывание в Киеве «в служебном отношении безусловно вредно».
15 декабря 1906 года А. П. Веретенников получил назначение в Кострому, где свою деятельность начал с расследования обстоятельств нападения боевиков на губернскую тюрьму в декабре 1906 года и ареста кинешемского «хлебного совета» (февраль 1907), пытавшегося остановить спекулятивный рост цен. Преследованию подвергся и костромской профсоюз текстильщиков, выступавший за нормирование цен и создание хлебной комиссии из представителей профсоюза и городской думы.
В служебной переписке с уездными исправниками губернатор требовал всеми мерами предотвращать «преступную пропаганду», а в секретной инструкции тем же исправникам — приступить «к выяснению путем агентуры личностей агитаторов» и их арестам, а также пресечению празднования 1 мая в губернии. В итоге в 1907 и 1908 годах полицией были арестованы типография «Северного рабочего» и свыше пятидесяти большевиков, казнены двое боевиков — К. Н. Козуев и П. И. Терехин, а также некий крестьянин Голубев, убивший тюремного надзирателя.
Одновременно начались гонения на губернское дворянское собрание, посмевшее принять в свои ряды исключенных другими дворянскими собраниями бывших членов I Государственной думы, подписавших Выборгское воззвание о нелегитимности правительства и его местных органов, а также губернское земство, обвиненное в том, что «до пор сих нет страхования скота, травосеяние только нарождается, переоценка имущества тянется уже 12-й год, несмотря на затрату 440 тысяч рублей казенной субсидии. В губернии нет совершенно дорог, и хозяйство городов, истощенных непосильными земскими налогами, приходит совершенное расстройство».
«В то время (1907–1909), — по воспоминаниям советника губернского правления князя В. А. Друцкого-Соколинского, — политическое лицо костромского губернского земства определялось личностью социал-революционера еврея Френкеля, и если это влияние было устранено, то исключительно благодаря энергии и стойкости костромского губернатора А, П. Веретенникова… На моих глазах в Костроме заведовавший санитарным бюро костромского губернского земства доктор Френкель убедил состав губернской управы исполнить политически тенденциозное постановление губернского собрания, отмененное уже губернским присутствием».
В итоге Веретенников добился отрешения от должностей предводителя губернского дворянства и председателя губернской земской управы, и этим восстановил против себя не только либералов, но и консерваторов. С. М. Чумаков вспоминал: «Губернатор Веретенников издал постановление, обязывающее землевладельцев повесить у своих ворот фонари с обозначением улицы и номера дома, а также освещать их. Дело это было никому не нужное, ибо город в те времена был тихий, сонный, без большого движения, и всяк знал, где кто живет и без фонарей… И вот судья Власов в установленный срок фонарь не повесил, а на неоднократные предписания полиции ответил отказом. По установленному порядку был составлен протокол и наложен штраф в размере 50 рублей… После этого Власов подал жалобу на действия губернатора… В Сенате, куда жалоба поступила, нашли, что губернатор не мог издавать постановления о фонарях, которые обязательны для городов с числом жителей, превышавшим фактическое в Костроме».
По словам того самого Френкеля, «как и во время своей службы в Киеве, он и в Костроме организовал черносотенный кружок из нескольких приехавших с ним чиновников и стал издавать костромской орган Союза русского народа».