В бытность Витберга в Петербурге казенные барки с камнем, сделавшие в одно лето четыре сплава, были отняты от заведовавшего ими и переданы Балкашину. В последующее лето барки ни разу не были сплавлены, а затем злонамеренно потоплены.
Такие же злоупотребления были и со складами камня, с известью, с подводами, с лошадьми, с подрядами на камень.
Окончательно же восстановились против Витберга заинтересованные в этих делах тем, что он не допустил состояться подряду по одним торгам на доставку камня, последняя цена на который осталась за поверенным Федоровым по сорок четыре рубля с кубической сажени; первенствующие члены соглашались утвердить, советник спешил скрепить журнал, Витберг удержал его руку и заметил, что цену можно понизить слишком на сто тысяч. Сделали переторжку: разницы вышло против первой цены в пользу казны триста девяносто тысяч рублей.
За это, в отмщение Витбергу, стали прибегать не только что к ложным доносам и клевете, но вооружили против него первенствующих членов и увлекли их в пользу неправой стороны. Тогда Витберг открыто объявил в комиссии о беззаконных действиях Балкашина, который по вредным связям своим с советниками употребляет во зло доверенность первенствующих членов, вовлекая их подписывать фальшивые доклады и неправильные определения, и добавил, что так как их подрядные виды угрожают ввергнуть в ответственность всю комиссию, то он. считает себя обязанным довести обо всем до сведения государя. В заключение предложил первенствующим членам приостановиться действиями комиссии до высочайшего разрешения о должном направлении дел. Князь Дмитрий Владимирович сказал, что действительно лучше приостановиться действиями комиссии, чем отвечать за чьи-нибудь дурные дела, но не устоял в этом намерении и во время отсутствия Витберга не только что подписывал с прочими членами все, что ему представляли советники, но еще в том числе выдал Балкашину сто пятнадцать тысяч рублей за противозаконно выломанный им камень в чужом имении и на освобождение его залогов по каменноломному подряду,
В Петербурге Витберг подал государю письмо, в котором объяснял все дело комиссии и что он не в силах противоборствовать. Государь собирался в Таганрог. Перед отъездом своим назначил ему вечер для личного объяснения, но, задержанный прощальными свиданиями, поручил ему объяснить все дело графу Аракчееву, к которому поступили и все бумаги по комиссии.
Из свидания с Аракчеевым Витберг заметил, что ему хорошо известны дела комиссии и правильность его действий; меры Кушникова он называл опрометчивыми, а относительно неприятностей, вынесенных Витбергом, сказал ему: «Ну, уж что делать, за то, верно, государь император наградит вас». Таким образом, граф, завязавший интригу, хотел развязать ее наилучшим образом в пользу великого памятника России. Но он вскоре заболел и был отстранен от дел. Через два месяца император кончил жизнь. Воцарившемуся государю были неизвестны дела комиссии, и Витберг остался один против нескольких лиц с сильными связями, неутомимо стремившимися к его гибели.
Комиссия вошла к императору Николаю Павловичу с докладом, в котором повторила обвинения строителя храма; государь поручил статс-секретарю Николаю Назаровичу Муравьеву отобрать от Витберга объяснения. Муравьевым на поднесенное от комиссии обвинение представлен был следующий доклад:
«Сооружаемого в Москве храма директор и экономической комиссии член, коллежский советник Витберг с полной обстоятельностию отразил все обвинения комиссии, причем изложил сущность той экономической системы построения, которою он руководствовался и то зло и те убытки для казны, какие проистекали от „подрядной системы“, которой упорно держались его сочлены по комиссии».
1826 года с ноября месяца, по высочайшему повелению, приказано было генерал-адъютанту Стрекалову исследовать весь ход дел комиссии по построению храма, вследствие жалобы отставного капитана гвардии Ивана Алексеевича Яковлева, состоявшей в том, что каменноломный подрядчик Балкашин самовольно открыл ломку камня в его имении, селе Васильевском, при Москве-реке, взорвал порохом находящиеся в Васильевском горы камня и мрамора, завалил обломками на большое пространство поле и берег реки, чем нанес ему большой вред.
Витберг принужден был давать формальные ответы и показания на запросы следователя.
Следователь был весь на стороне противников художника. Ревизия Стрекалова продолжалась два месяца, сам он лично был только один раз в комиссии. Делом занимался его секретарь с советниками без присутствия Витберга.
Объяснение советников пущено было в ход, Витбергово задержано; он препроводил куда следует с него копию, это послужило к правильному рассмотрению дела, и решением сената подверглись