Певец посетил короля в Сарагосе и поблагодарил его за доброту. Кроме того, Карл, хоть и не был большим любителем музыки, но не раз спасал Каффарэлли от последствий его дерзкого поведения. Причины, по которым Фаринелли должен был покинуть Испанию, Хэриот объясняет так: «Говорят, что Фаринелли отдавал предпочтение Австрии перед Францией, а Карл хотел изменить эту политику. Однако в 1759 г., вследствие болезненных перемен в политике, проведенных за несколько лет до этого по инициативе мадам де Помпадур, Франция и Австрия стали союзниками в Семилетней войне с Пруссией, и Фаринелли никак не мог принять чью-либо сторону в соперничестве, которое к тому времени уступило место альянсу. Скорее всего, Карл просто почувствовал необходимость избавиться от такого советника; Фаринелли, будучи уроженцем Апулии, был юридическим подданным неаполитанского короля, но, когда Карл занимал этот пост, певец, вместо того, чтобы служить ему, оказывал всяческую поддержку его сводному брату, с которым у Карла были всегда натянутые отношения».

В 1766 году Фаринелли еще состоял на службе у герцога Мединачели, интенданта Мадридской оперы, и в этом качестве набирал для него певцов в Италии, а за год до того велись переговоры о его приглашении в Мадрид для постановки спектакля в честь бракосочетания инфанта.

Было ясно, что Фаринелли теперь придется покинуть Испанию, хотя ему было разрешено иметь щедрую государственную пенсию. Он уехал в Болонью, где прожил с 19 августа 1761 года до самой смерти 16 сентября 1782 года на своей шикарной вилле Via Lama (Виа Дзанарди, 228).

Вот, что сообщает Ч. Берни: «Когда Карл III, король Испании, поднялся на трон, Фаринелли получил приказ покинуть королевство, но ему позволено было забрать все вещи; таким образом, богатое имущество из своего дома, состоящее почти все из подарков, полученных от великих людей, Карло Броски удалось вывезти. Певец говорил с великим сожалением, что вынужден искать «другое место жительства, прожив 24 года в Испании, где он привык и в которой его связывали дорогие узы дружбы».

Осенью 1759 г. Карло Броски вернулся в Италию и первым городом, встретившим его, стала Парма. Певца с почетом принял герцог, младший брат монарха Карла, здесь певец задержался до ноября 1760 г. Затем он отправился в Неаполь, где был встречен с огромными почестями, как нацональный герой простыми горожанами, но с такой холодностью официальных лиц, что предпочел выбрать в качестве места жительства Болонью. 3 июля 1761г. певец прибыл на свою виллу, чтобы прожить здесь до конца дней.

Берни говорил, что Карл «приказал» ему жить там и нигде больше; Вернон Ли утверждал, что Карл выбрал Болонью специально, потому что там Фаринелли особенно не любили. Поговаривали также, что первым решением Фаринелли было поселиться в Неаполе, в месте его рождения, но его испугали слишком активные притязания его родственников. Тем не менее, он имел тесное общение с родной сестрой и двумя ее сыновьями. Один из которых, старший, был его любимцем, хотя это был болезненный ребенок с испорченным характером. Это еще раз доказывает, сколь значимы были для певца естественные семейные привязанности, в которых он искал утешения. Берни говорит и о том, что Фаринелли рассматривал вариант поселиться в Англии, но все же мечтал провести остаток жизни в ставшей родной ему Испании.

Болонья соперничала с Неаполем в праве именоваться музыкальной столицей Италии, там жил выдающийся музыкант того времени и друг Фаринелли падрэ Мартини. И кроме этого великий певец избрал этот город местом, где проведет свою старость уже 2 сентября 1732 года. А. Барилли писал: