В период относительного затишья, последовавшего за падением форта, где-то среди болотистых топей сержант Грей вместе с другими последователями Масонства Принса Холла основали свою военную ложу. Никто из них не питал надежд, что наступление равенства, к которому они стремились как внутри, так и за пределами масонской среды, стал хоть сколько-нибудь ближе. И словно в подтверждение этому спустя несколько дней на повестке оказался вопрос денежного довольствования. Уже несколько раз было объявлено, что чернокожие солдаты получат 10 долларов, а белые — 13. Бойцы 54-го полка единодушно отказались от денег. После падения форта Вагнер им еще раз предложили взять деньги, однако солдаты остались непреклонны. В дело вмешался командир бригады. Полковник Джеймс Монтгомери был аболиционистом и принимал участие в жестоких столкновениях противников и сторонников рабства в Канзасе в преддверии Гражданской войны. Этот высокий, сутулый мужчина обратился к солдатам своим мягким негромким голосом:
Помните — вы еще не доказали, что вы солдаты… Не ждите, что вас приравняют к белокожим бойцам. Любой, кто послушает ваши песни и крики, поймет, как дремуче ваше невежество. Я ваш друг, друг чернокожих. Я первым в стране призвал в Армию Соединенных Штатов черных… А теперь, отказываясь от жалованья, которое полагается вам лишь по закону, вы выказываете непокорство, вы не выполняете приказ, и за это вас можно предать военному суду.
По свидетельству одного из очевидцев этого обращения, «полковник, казалось, не сознавал, что высказывания его оскорбительны, а большинство людей, к которым он обращался, на самом деле родились свободными». 54-й полк еще целый год отказывался от денежного довольствования, пока не вышел закон, устранивший дискриминацию в выплате жалованья.
Штурм форта Вагнера 54-м Массачусетским полком быстро стал из газетной новости чем-то вроде предания и с тех самых пор прочно укрепился в массовом сознании. В 1989 году это событие нашло свое отражение в «Славе» (Glory) — впечатляющем оскароносном фильме с Мэтью Бродериком, Дензелом Вашингтоном и Морганом Фриманом в главных ролях. История легендарного 54-го полка удачно вписалась в рамки одной из самых эмоционально сильных патриотических легенд XIX века: то была история мужественности, проявленной на войне, кровавой жертвы. В устах белых северян центром повествования стала мученическая смерть командира полка, полковника Роберта Гулда Шоу. Конфедераты же стремились оскорбить память этого «голубоглазого дитя судьбы», похоронив его в одной яме с чернокожими солдатами. Однако сей жест расистского презрения лишь сделал историю полковника еще более возвышенной. Рядовой же состав 54-го, для сравнения, по именам и вовсе не известен. Более того, в отношении бойцов было сделано одно неверное суждение. Дело в том, что весь романтический ореол, окруживший штурм форта Вагнер, в сущности, основывался на видении этого события как ступени в борьбе чернокожих американцев за свою свободу. Они проявили редкую самоотверженность в сражении, самоотречение до смерти, дескать, показывая тем самым, что чернокожие достойны войти в ряды граждан Штатов. Лишь когда война завершилась, стали очевидны пагубные последствия этой идеи.
Через шестнадцать месяцев после падения форта Вагнер, 18 февраля 1865 года, Чарлстон представлял собой жалкое зрелище: разрушенные дома, повсюду воронки от снарядов, опустевшие причалы, на улицах разбросаны пожитки белых семей, в ужасе спасавшихся бегством. Последний приказ, отданный отступавшими войсками конфедератов — поджигать остатки имущества. Огонь начинал распространяться. Практически все оставшиеся в городе жители были чернокожими — укрывшись подальше от опасности, они в полной уверенности ожидали начала новых времен.
Знаменательно, что первыми из солдат Союза в Чарлстоне высадились именно служащие подразделения 54-го Массачусетского пехотного полка. Не менее знаменательно, что в городе одним из первых их встретил доктор Альберт Макей, великий секретарь Верховного совета южной юрисдикции США древнего и принятого шотландского устава. Он обратился к армии Союза с мольбой потушить пылающие пожары. Таким образом солдаты первого в истории подразделения чернокожих американцев спасли для будущих поколений город, бывший самим символом рабства.