Что же касается владельца, то ему не откажешь, по крайней мере, в оригинальности. Похоронив жену, он заперся в своем жилище на Дворцовой набережной с больными и увечными собаками, подбираемыми во время одиноких прогулок. Они наполняли весь дом, лежали на диванах и креслах. Целую комнату отвели летавшим на свободе птицам, а голубей и галок князь ежедневно кормил в урочные часы с балкона. Он перестал заботиться о своей внешности и в сопровождении ливрейного лакея прогуливался по улицам в старом халате и с ермолкой на лысой голове.
П.Г. Гагарин не чуждался литературы, помещая свои стихи в «Вестнике Европы», издаваемом Жуковским. Будучи страстным любителем книг, он собрал большую библиотеку, где имелось много редкостей. В 1831 году князь неожиданно для всех женился на балерине М.И. Спиридоновой, после чего изменил образ жизни, оставил уединение и, «окруженный стаею гнусных собак», поселился в своем поместье на правом берегу Невы.
В 1806 году в доме Гагарина останавливался П.И. Багратион, а в 1810-х годах здесь поселилась Е.П. Лунина, двоюродная сестра декабриста и знакомая А.С. Пушкина. Они познакомились в после-лицейский период жизни поэта. Несмотря на довольно некрасивую наружность, Лунина слыла львицей большого света. Она много путешествовала с матерью, была во Франции, Германии, хорошо знала музыку и обладала прекрасным голосом. В Париже, в салоне королевы Гортензии (супруги короля Голландии Луи Бонапарта, брата Наполеона), она имела такой успех, что Наполеон просил ее петь в дружеском кружке в Тюильри. Этого оказалось достаточно, чтобы сделать ее знаменитой в русском обществе. В одном из писем Пушкин сообщал: «Еду сегодня в концерт великолепной и необыкновенной певицы Екатерины Петровны Луниной».
Е.П. Лунина
Жила она в нижнем этаже. Однажды ранним утром любивший пешие прогулки Александр I заметил, как кто-то вылезал из окна ее квартиры. Вернувшись во дворец, император призвал к себе обер-полицмейстера и через него велел передать Луниной, чтобы та остерегалась, потому что ночью к ней могут влезть и похитить все, что у нее есть драгоценного. Впоследствии Екатерина Петровна вышла замуж за итальянца графа Риччи, певца, поэта и композитора. Он перевел на итальянский язык стихотворения Пушкина «Демон» и «Пророк».
С этим же домом связаны весьма заметные события в жизни самого Пушкина. В 1827–1830 годах здесь проживало семейство А.Н. Оленина, с которым поэт был знаком с юных лет. Весной 1827 года, вернувшись в Петербург после ссылки, Пушкин возобновил старые связи с гостеприимным домом Олениных. Особенно часто он стал навещать их с весны следующего года. Известно его увлечение в то время Анной Алексеевной Олениной. После неудачного сватовства поэта наступило охлаждение в отношениях с семьей Олениных, и с осени 1828 года он прекратил свои посещения. Наряду с Пушкиным частыми гостями здесь были П.А. Вяземский, А.С. Грибоедов, А. Мицкевич.
А.Н. Оленин
После смерти Гагарина в 1850 году дом перешел к его дочери Наталье Павловне (1837–1905), позднее вышедшей замуж за чиновника Министерства иностранных дел М.Д. Жеребцова, по отзыву князя С.М. Волконского, «тонкого, умного человека, одного из виднейших представителей русского католицизма».
В октябре 1855 года здесь нанял квартиру спешно вышедший в отставку министр путей сообщения граф П.А. Клейнмихель (о нем нам еще предстоит говорить далее). Отставку вызвало недовольство Александра II состоянием дорог в Крыму, где он побывал в то время. Впрочем, государь очень скоро сменил гнев на милость и явился в дом Гагариной, чтобы лично выразить соболезнование графу по случаю тяжелой болезни его сына Александра.