Точно так же с большой осторожностью следует оценивать и другие порочащие его сведения личного характера. Утверждается, будто он требовал от южных китайцев, чтобы они поставляли ему красавиц, если прибегали к его помощи в том или ином деле. В качестве подтверждения указывают, что у него было несколько жен и наложниц. Однако это обвинение опять-таки сложно верифицировать, поскольку оно исходит из официальных летописей. Другой проступок кажется более отягчающим, хотя также вызывает определенные подозрения. Речь идет об осквернении тел членов императорской династии Сун. Ян якобы приказал выкопать тело одного из последних императоров, которое еще не вполне истлело, и повесить его на дереве, где оно провисело три дня. Затем его обезглавили и сожгли. Завершилось надругательство сожжением костей среди костей лошадей и коров. Китайцы строго осуждали подобное неуважение. Эти события предоставили южным китайцам, презиравшим иностранцев, к которым относились и буддийские ламы, прекрасный повод высказать свое отношение. Точно так же и сам Ян оказался превосходной мишенью. Сложно определить, насколько можно доверять этим обвинениям. Очевидно, Ян действительно одобрял передачу сунских дворцов и гробниц буддистам и, несомненно, именно он санкционировал разграбление некоторых могил, но мы не располагаем четкими доказательствами того, что он самолично принимал участие в надругательстве над телом сунского императора или что это произошло с его ведома. Зачем без нужды вызывать возмущение китайцев столь оскорбительными действиями? Подобное беспричинное оскорбление кажется бессмысленным и невероятным. По-видимому, все-таки оно было приписано Яну уже после его падения и должно было служить оправданием развернутой против него кампании.
Положительные черты деятельности Яна и его достижения можно вывести лишь логическим путем. Он был ревностным приверженцем буддизма и стремился защищать интересы своих единоверцев в Южном Китае, население которого, как он полагал, было враждебно настроено по отношению к этой религии. Вряд ли могут быть какие-либо сомнения в искренности его религиозных взглядов. Даже его хулители признавали, что возможно, Ян считал себя миссионером и преданным сторонником своей веры и воспринимал возведение храмов и ступ как свидетельство религиозного рвения. Однако, вследствие того, что он не был знаком с китайским образом мышления и китайскими представлениями о религиозности, он непреднамеренно, но с неизбежностью вступил в противостояние с населением Цзяннани. В самом деле при Яне буддизм достиг на юге значительных успехов. Например, при непосредственной поддержке Яна были сделаны наскальные изображения в Фэйлай Фэне, одном из самых замечательных памятников буддизма в Китае. Отчасти ему принадлежит заслуга в том, что к 1291 г. в стране насчитывалось 213148 буддийских монахов и монахинь и 42318 храмов и монастырей.
И все же злоупотребления, которые он, несомненно, совершал, хоть, наверное, и не в таком количестве, как пытаются убедить нас китайские летописи, раздражали южных китайцев и отражались на его покровителе Сангхе. Оба чиновника, с точки зрения китайцев, были эксплуататорами и угнетателями. Китайские источники осыпают их упреками в финансовых преступлениях и личных недостатках, и обвинения, выдвигавшиеся против Сангхи как китайскими, так и монгольскими чиновниками, требовали какой-то реакции. 16 марта 1291 г. Хубилай лишил Сангху, самого высокопоставленного своего чиновника, всех полномочий, снял с должности и посадил под арест. Великий хан откладывал решение по делу своего министра, когда-то пользовавшегося его доверием, пока передав участь Сангхи на обсуждение придворных. Они быстро вынесли ему смертный приговор. 17 августа Сангха был казнен. Некоторые ученые предполагали, что Хубилай пытался отсрочить или даже предотвратить казнь своего приближенного. Поздний тибетский источник утверждает, что его опечалила смерть Сангхи: «Император сказал: "Теперь, когда ушел мой Сангэ, это причиняет мне великую печаль"».