Дом его после отъезда из Таганрога становится доходным. С 1847 по 1856 год в нем квартирует будущая мать А. П. Чехова, Евгения Яковлевна Морозова. Ей не было ещё 12 лет, когда умирает её отец, Яков Герасимович Морозов, «комиссионер по суконной части» отставного градоначальника, и она вместе с матерью и сестрой переезжает из Шуи в Таганрог, где им и помогает устроиться Петр Афанасьевич. Проживал в этом доме одно время, в 1854—55 годы, после свадьбы с Евгенией Яковлевной и отец писателя, Павел Егорович Чехов. Может и потому ещё, кроме архитектурного сходства, написанный Антоном Павловичем рассказ «Дом с мезонином» связывают с домом градоначальника.

В 1853 году, когда хозяин дома – неугомонный Петр Афанасьевич почивает с миром, особняк по наследству отходит племяннице Папкова баронессе Фитингоф, а уже ею продаётся помещику Миусского округа Области Войска Донского генерал-майору Александру Гавриловичу Реми, личности столь же незаурядной, как и градоначальник, и оставившей заметный след в жизни Таганрога и Дона. Кстати, женат Александр Гаврилович был на правнучке легендарного донского атамана Матвея Платова.

Семья Реми была из французских гугенотов, бежавших в XVI веке в Швейцарию от преследования во Франции. Отец Александра Гавриловича, Жан-Габриэль (1760—1822) начал карьеру военным инженером в Голландии, но в 1787 году перешёл на службу в Российскую армию, где крестился в православии и под именем Гаврила Павлович участвовал в войнах с Турцией, отличившись в боях под Тульчей, Исакчей и при взятии Бендер и Измаила. При штурме последнего, получив контузию и ранение в руку, был жалован Суворовым золотым знаком, уменьшающим на три года срок для заслуги ордена св. Георгия. С 1792 года Гаврила Павлович находился при Черноморском флоте, где участвовал как военный инженер в строительстве Севастополя и крепости Кинбурн. Реми-старший закончил службу в чине генерал-майора и за 25 лет беспорочной службы был награждён Георгиевским крестом. В 1820—1821 гг., доживая век в Киеве, он состоял «братом 3-й степени» в местной ложе «Соединённых славян» – одной из декабристских организаций «Южного общества». По его военным стопам пошли и три сына. Все они участвовали в бесконечных русско-турецких войнах, в подавлении польского и венгерского восстаний, становились кавалерами многих российских и зарубежных орденов, каждый закончил службу в чине не ниже генерал-майора, став, как их отец, кавалерами ордена Святого Георгия IV класса:

Реми Гавриил Павлович, генерал-майор: №2082, 26 ноября 1809 г.,

Реми Фридрих Гаврилович, поручик: №4653, 25 декабря 1831 г.,

Реми Людвиг Гаврилович, капитан: №682, 1 января 1847 г.,

Реми Александр Гаврилович, полковник: №7774, 26 ноября 1847 г.

Наш же герой, Александр Гаврилович, начал военную карьеру в 1826 г., а в 1839 г. получил чин ротмистра в лейб-гвардии гусарском полку, где служил тогда и Михаил Юрьевич Лермонтов. Они сблизились, часто встречались в салоне Карамзиных, где оба принимали участие в любительских спектаклях. Лермонтов даже подарил Александру Реми свой портсигар (хранящийся ныне в Государственном Лермонтовском музее-заповеднике «Тарханы»). Кстати, там же в «Тарханах», в комнате Михаила Юрьевича, стоят на столе несколько портретов офицеров лейб-гвардии гусарского полка из той серии акварелей, что когда-то они сами заказали художнику А. И. Клюндеру. Среди них и портрет Александра Гавриловича Реми. В апреле 1840 года, с повышением до подполковника, Александр Реми командируется в Новочеркасск к начальнику штаба Войска Донского Михаилу Григорьевичу Хомутову, своему бывшему начальнику по гусарскому полку, куда и отбывает с попутчиком Михаилом Лермонтовым, едущим в ссылку на Кавказ.