Толстиков, убежденный консерватор-сталинист, погорел не на любви к пению. Как рассказывал Рой Медведев, «главным поводом для понижения Толстикова был скандальный эпизод в Финском заливе, когда пограничный катер задержал яхту Толстикова за пределами советских территориальных вод, причем хозяин яхты был в сомнительной компании двух мужчин и трех женщин. Все были не очень трезвы, имели на себе минимум одежды и вовсе не имели никаких документов. Роскошная яхта была взята на буксир и препровождена на морскую погранзаставу, начальник которой немедленно дал знать о происшедшем в КГБ Андропову, а последний, естественно, позвонил Брежневу. Всем было известно, что Брежнев никогда не был особенно строг по части нравственности к высшим партийным и государственным работникам. Но то, что случилось с Толстиковым, выходило за рамки неписаных правил. Ему стали подыскивать новую работу».
Согласитесь, история забавная. Партийный руководитель второго города в стране – «города трех революций» – так сказать, «морально разлагался» в узком кругу. А ведь еще недавно сам Толстиков в немалой степени поспособствовал осуждению поэта Иосифа Бродского за тунеядство. Кстати, эта история с будущим нобелевским лауреатом (слона-то я и не приметил!) создала Толстикову образ убежденного антисемита. Зловредные вражеские голоса излагали более жесткую версию проступка партийного начальника: в июле 1970 года, приняв на грудь изрядное количество спиртного в компании адмирала Ивана Байкова, командира Ленинградской военно-морской базы, Толстиков решил нанести визит «надменному соседу» – то есть финнам, причем прямо на военном корабле и без предупреждения. В принципе, плохого в этом ничего не было: Толстиков, как член ЦК КПСС и член Президиума Верховного Совета СССР, вполне мог совершать дипломатические визиты для укрепления дружбы между народами. Только вот финны их не ждали, да к тому же с их сухим законом… Вышел международный скандал. Толстикова перевели на другую работу, адмирала отправили в отставку, а в Ленинграде возродилась, наконец, династия Романовых (фамилия нового «первого» была Романов).
А оставшемуся без покровителя Владимиру Атлантову Фурцева распорядилась дать квартиру в высотке на Котельнической набережной, правда, не сразу (скоро только кошки родятся): «Я понимал, что нахожусь на каком-то ином положении, чем другие артисты Большого театра. По десяти- тридцати- стократным просьбам, наконец, Екатерина Алексеевна дала мне квартиру. Понимаете, квартиру. Ну что я мог сделать? Приходилось обращаться за разрешением достать стенку какую-то, инструмент. Я ведь сам не мог это купить. Надо было мне идти, просить, умолять, унижаться. Для меня это почти непереносимо». Ну и конечно, ловить рыбу и стрелять кабанов в Завидове Атлантову уже никто не предлагал.
Затем певец переехал в Брюсов переулок (ленинградская квартира отошла в ведение Министерства культуры). Поженившись с Тамарой Милашкиной в 1971 году, сдав квартиры тому же министерству, они получили квартиру на Кутузовском проспекте. Но даже такой уровень внимания власти не мог компенсировать ему моральный ущерб: «Я пришел с чересчур сложившимся авторитетом, быть может, в то время не соответствующим моему артистическому и вокальному состоянию. А там была своя, установившаяся товарищеская компания: Зураб Анджапаридзе, Галина Вишневская, Ирина Архипова, Александр Огнивцев. Они и по возрасту были равны. И вдруг этакий юнец приезжает! Мой приход стал инородным вторжением в их коллектив. Кто-то должен был потесниться, чтобы нашлось место и для меня. А этого места никому искать не хотелось. И вот здесь мне пришлось трудно». В итоге утвердиться в театре помогли зарубежные гастроли, на которых певец получил высокую оценку. К мнению Запада в театре прислушивались более пристально, нежели к своим партийным музыкальным критикам, судившим с идеологических позиций даже балет «Чиполлино», постановка которого была расценена как намек на продовольственные трудности с луком и картошкой.