Дом 20 принадлежал тогда купцу второй гильдии, владельцу лакокрасочной фабрики Афанасию Петровичу Яковлеву. По его заказу архитектор Александр Александрович Кулаков, добросовестно трудившийся на ниве рядовой застройки, создал внутреннюю отделку, перегруженную украшениями. Сам Афанасий Петрович, старовер-начётчик, жить в этих новомодных покоях не собирался, предназначая их для богатых съемщиков, а обитал с семьей в маленьком невзрачном флигеле среди милых его сердцу древних образов.
Угловой дом (дом 22), выходящий фасадом и на Гагаринскую улицу, в 1892 году купил на имя жены Владимир Александрович Ратьков-Рожнов. В это время Владимир Александрович уже имел чин тайного советника и почти достиг вершины своей карьеры – через год он займет должность городского головы Петербурга.
В 1900 году Ратьков-Рожнов задумал сделать дочери, Ольге Владимировне, вышедшей замуж за полковника М. А. Серебрякова, достойный свадебный подарок. Молодой, но уже известный архитектор, Борис Ионович Гиршович, снес старую постройку и соорудил новое здание с фасадом в духе раннего классицизма.
Наб. Кутузова, 22
Особняку Серебряковой повезло – в советское время его не стали дробить на коммуналки, а использовали для различных учреждений. Благодаря этому здание хорошо сохранились как снаружи, так и внутри.
Строение на другой стороне Гагаринской (дом 24 по набережной Кутузова) тоже было когда-то особняком, причём одним из самых богатых и красивых по своей внутренней отделке. Двухэтажное здание, построенное в последней четверти XVIII века, в 1827 году купил граф Александр Григорьевич Кушелев-Безбородко.
Александр Григорьевич был сыном Григория Григорьевича Кушелева, адмирала «гатчинской флотилии, о котором уже упоминалось в связи с домом 6, и Любови Ильиничны Безбородко – племянницы екатерининского вельможи, князя Александра Андреевича Безбородко. После смерти в 1815 году Ильи Андреевича Безбородко, брата канцлера, род Безбородко пресекся и тогда Александр I повелел Александру Григорьевичу Кушелеву «…въ уваженіе къ отличному служенію покойнаго князя Безбородко, на пользу и славу отечества всю жизнь посвятившему, именоваться впредь графомъ Кушелевымъ-Безбородко, дабы знаменитая заслугами фамилія сія съ кончиною послҍдняго в родҍ не угасла, но паки обновясь, пребыла навсегда въ незабвенной памяти россійскаго дворянства…»
Наб. Кутузова, 24
Желая превратить своё жилище в «храм искусств», новый владелец пригласил архитектора Василия Алексеевича Глинку, который, помимо традиционного набора парадных залов, гостиных и прочих комнат, предусмотрел устройство «… публичной галереи, открытой постоянно для художников и публики, допускаемых без стеснения в форме одежды». Превосходная коллекция картин, начало которой положил канцлер Безбородко, а потом значительно пополнили Александр Григорьевич Кушелев-Безбородко и его сын, Николай Александрович, была, впоследствии, завещана Академии художеств и в настоящее время хранится в Эрмитаже.
После смерти Александра Григорьевича особняк перешёл к старшему сыну, Григорию Александровичу. Архитектор Роман Романович фон Генрихсен в 1859-1860 годах полностью перестроил особняк, придав ему нынешний неоренессансный облик.
О том, как выглядели после перестроения внутренние помещения, можно судить по воспоминаниям поэта Афанасия Фета: «Беломраморная лестница, ведущая в бельэтаж, была уставлена прекрасными итальянскими статуями. В анфиладе комнат стены были покрыты дорогими картинами голландской школы. Не буду говорить о блестящий зале, диванной, затянутой персидскими коврами, и множестве драгоценных безделок…».