Анна Федоровна не жила в отцовском доме, его снимало дворцовое ведомство, и здесь размещались камер-юнгферы императрицы Елизаветы и другие придворные служители, а также дежурившие при дворе офицеры. Этот дом упоминает в своих воспоминаниях будущая императрица Екатерина II, жившая в деревянном Зимнем дворце, который занимал, как она пишет, «весь квартал до места, находившегося против дома графини Матюшкиной, который принадлежал тогда Наумову. Мои окна были против этого дома, занятого фрейлинами». Существует предание, что здесь жил в 1759 г. и Григорий Орлов и из окон своих комнат в деревянном Зимнем дворце великая княгиня Екатерина Алексеевна обратила на него внимание. Как писал французский дипломат М. Д. Б. де Корберон, служивший в посольстве, после вступления на престол Петра III и Екатерины II всем придворным было приказано из этого дома выехать, а не подчинившимся велено было «не отпускать еду и питье».

2 сентября 1766 г. Анна Федоровна Белосельская продала дом «Ея Императорского Величества камер-юнкеру и лейб-гвардии Измайловского полку подпорутчику графу Володимиру Григорьевичу Орлову» за 14 тысяч рублей. В. Г. Орлов, младший из братьев Орловых, – первый директор Академии наук с 1766 г., свою придворную карьеру начавший с чина камер-юнкера, затем, в 1770 г. пожалован в камергеры и закончивший свою службу в чине генерал-поручика.

Перед своим путешествием по России Орлов в 1769 г., продал дом графине Анне Алексеевне Матюшкиной (1722–1804). Она была дочерью князя Алексея Матвеевича Гагарина и баронессы Анны Петровны Шафировой, дочери сподвижника Петра I вице-канцлера Петра Павловича Шафирова. После смерти от горячки своей старшей сестры она заняла ее место фрейлины при императрице Елизавете. Рассказывая в своих записках о событиях 1750– 1751 гг. будущая императрица Екатерина II вспоминает о княжне Гагариной: «Она была уже не первой молодости и хотела сыскать себе партию по вкусу. Она сама имела хорошее состояние, но была нехороша собою, хотя очень умна и уклончива. Ей приходилось во второй раз отказываться от своего предмета в пользу императрицы: сначала от Шувалова, теперь от Бекетова». Сама Екатерина Алексеевна была в это время увлечена Захаром Чернышевым и обменивалась с ним любезными записками через Гагарину, которая, как пишет Екатерина, «…наконец заметила, в чем дело, бранила меня, что я делаю ее посредницею и больше не согласилась переносить девизы». В 1754 г., считавшаяся уже сильно немолодой (ей было 32 года), Анна Алексеевна вышла замуж за молодого красавца Дмитрия Михайловича Матюшкина (1725–1800), который был моложе ее на 3 г. Сама императрица Елизавета уговорила мать Матюшкина дать согласие на этот брак. Благоволили к Анне Алексеевне впоследствии и Екатерина II и Павел, который в день своей коронации наградил ее орденом Св. Екатерины I-й степени и подарил ей для ношения в парадных случаях портреты – свой и своей супруги Марии Федоровны. Муж Анны Алексеевны Дмитрий Михайлович Матюшкин дослужился до тайного советника и камергера, в 1762 г. был возведен в графское достоинство императором Австрии Францем I. У четы Матюшкиных родилось двое детей – дочь Софья (1755–1796), фрейлина Екатерины II, и сын Николай (1756–1775), флигель-адъютант, росший в детстве вместе с будущим императором Павлом.

Софья Дмитриевна Матюшкина в 1788 г. была выдана императрицей за Юрия Михайловича Виельгорского. Он был польским посланником при Екатерине II, а потом, перейдя на русскую службу, – камергером и сенатором. Он также известен как один из учредителей Санкт-Петербургского филармонического общества. Софья была его первой женой и скончалась через три недели после очередных родов от лихорадки, оставив после себя семерых детей, заботы о воспитании которых взяла на себя бабушка Анна Алексеевна. Самые известные дети Софьи Виельгорской – известные знатоки музыки Михаил и Матвей Юрьевичи Виельгорские. В павловское время Виельгорские жили в этом доме. Анна Алексеевна Матюшкина пережила мужа и двоих детей и умерла в 1804 г. и была похоронена в Александро-Невской лавре. Дом перешел в собственность ее внуков – Михаила и Матвея Виельгорских. В 1812 г. исполнитель духовного завещания Матюшкиной и опекун над имением несовершеннолетних Виельгорских Гаврила Романович Державин продал дом рижскому банкиру Борису Клейну, а в 1822 г. им уже владел дворянин Иван Гаврилович Михайлов.