Когда Баччо уразумел, что герцог, удовлетворяясь услугами других, больше в нем не нуждается, он и расстроился страшно, и огорчился, и начал вести себя так странно и неприятно, что ни на улице, ни дома с ним и говорить стало невозможно. Да и с сыном своим, Клементе, вел он себя весьма странно и во всем его ущемлял. И потому Клементе, вылепив из глины голову больших размеров его превосходительства, с тем чтобы высечь ее затем из мрамора для статуи в Приемной зале, попросил из-за отцовских странностей разрешения герцога отправиться ему в Рим. Герцог сказал, что он его не задерживает. Баччо же, у которого Клементе также попросил разрешения, при его выезде не дал ему ничего, хотя во Флоренции молодой человек был ему большой подмогой во всяком деле, и он без него был как без рук; тем не менее после его отъезда он перестал о нем и думать. И юноша, приехавший в Рим не вовремя и из-за усердия, и из-за неустроенной жизни, в том же году и умер, оставив по себе во Флоренции почти что законченную мраморную голову герцога Козимо, отменно прекрасную, которую Баччо позднее поставил над главным входом в дом свой на Виа Джинори. А еще раньше Клементе сделал усопшего Христа, коего поддерживает Никодим, а Никодимом был Баччо, выполненный с натуры. Статуи эти, очень удачные, Баччо поставил в церкви сервитов, о чем мы расскажем на своем месте. Кончина Клементе была величайшей потерей и для Баччо, и для искусства, и Баччо это особенно почувствовал после его смерти.
Баччо открыл алтарь Санта Мариа дель Фьоре, и хотя статуя Бога Отца вызвала порицания, алтарь со всем описанным выше остался как он есть, и ничего больше там сделано не было; но над хором решили продолжать работу.
Много лет тому назад в Карраре была добыта глыба мрамора в десять с половиной локтей высотой и в пять локтей шириной. Узнав об этом, Баччо поскакал в Каррару и, выдав владельцу глыбы в задаток 50 скудо, заключил с ним соглашение и воротился во Флоренцию, где начал вертеться вокруг герцога и добился-таки при посредстве герцогини того, что получил заказ высечь из этой глыбы гиганта, которому было отведено место на углу площади, там, где находился лев. На этом месте он должен был соорудить большой бьющий водой фонтан, в середине которого должен был находиться Нептун на своей колеснице, влекомой морскими конями, и фигуру эту из этой же глыбы и надлежало высечь. Баччо сделал несколько моделей фигуры и показывал их его превосходительству, но дело не двигалось дальше до самого 1559 года, когда из Каррары приехал владелец мрамора и потребовал выплаты остальной суммы, или же он возвратит 50 скудо, а глыбу расколет на части, которые обратит в деньги, ибо требований на мрамор было много. Герцог дал распоряжение Джорджо Вазари заплатить за мрамор. Когда же узнали в цехе, что герцог мрамор Баччо еще не выдал, Бенвенуто, а равным образом и Амманати, заявили претензию, ходатайствуя перед герцогом, чтобы и тому, и другому было разрешено, соревнуясь с Баччо, сделать модель и чтобы его превосходительство соблаговолил выдать мрамор тому, чья модель окажется лучшей. Делать модели герцог не запретил никому и не отнимал надежды стать исполнителем у того, кто покажет себя наилучшим. К тому же герцог знал, что в отношении способностей, вкуса и рисунка Баччо превосходил всех скульпторов, находившихся у него на службе, стоило ему лишь постараться; и соревнование это было ему по душе, дабы заставить Баччо работать лучше и сделать все, что он только может. А Баччо, увидев, что придется ему соревноваться, начал стараться изо всех сил, больше всего боясь герцогской немилости, и снова принялся за модели.
Состоя же при герцогине постоянно, он добился того, что был отправлен в Каррару для распоряжений о перевозке мрамора во Флоренцию. По прибытии в Каррару он, в соответствии со своими намерениями, обкорнал мрамор так, что совсем его изуродовал, чем отнял возможность и у себя и у других создать из него очень красивое и великолепное произведение. Когда же он возвратился во Флоренцию, между ним и Бенвенуто начались бесконечные распри, причем Бенвенуто повторял герцогу, что Баччо испортил мрамор, не успев до него и дотронуться. В конце концов герцогиня настояла все же на том, что мрамор был передан Баччо, а еще раньше было отдано распоряжение о доставке его из Каррары морским путем, и были изготовлены приспособления для судна, на котором он будет доставлен по Арно до Синьи. К тому же для Баччо в Лоджии, что на площади, было выстроено помещение для работы над мрамором. Между тем он уже приступил к картонам, по которым должно было быть написано несколько картин, предназначавшихся для украшения покоев палаццо Питти.