Как все Ганнибалы, Петр Абрамович обладал недурной наружностью, лицом был смугл, умел расположить к себе общительностью и веселостью, но нрав имел горячий, непокладистый, не без самодурства.

В 1777 году он женился на дочери казанского помещика, коллежского советника Григория Григорьевича фон Данненштерна Ольге Григорьевне. За женою получил в приданое имения в Казанской и Саратовской губерниях.

По-видимому, в Казани Петр Абрамович служил, командовал какой-то артиллерийской частью. Граф А. Г. Бобринский в августе 1777 года писал в дневнике о встречах с Ганнибалом в Казани. 10 августа: «…играла полковая артиллерийская музыка, г-н полковник Ганнибал – негр, брат того, что управляет в Херсоне, человек очень веселый; он был с женою». 15 августа: «Ганнибал пригласил нас в лагерь на артиллерийские маневры». 16 августа: «После обеда мы ездили к Ганнибалу смотреть его полк и видели, как бомбардировали и брали нарочно им выстроенный городок. Тут присутствовала вся Казань, был и путешественник-англичанин»[30].

Доверенность на представление его интересов при разделе имения после смерти отца «артиллерии полковник Ганнибал» заверял в «Казанского наместничества палате гражданского суда».

С Ольгой Григорьевной П. А. Ганнибал имел троих детей – сына Вениамина и дочерей Христину и Александру. Однако «и сей брак был несчастлив». Прожив с семьей девять лет, Петр Абрамович оставил ее и, по выражению Н. А. Белозерской, «поселился в своем наследственном псковском имении, доставлявшем ему возможность безбедного и праздного существования; здесь он зажил жизнью большинства тогдашних провинциальных дворян».

Предполагали, что разрыв с семьей в это время был связан с его увлечением Надеждой Гавриловной Лихачевой, дочерью небогатого псковского помещика, отставного инженер-поручика Гаврилы Анатольевича Лихачева, доброго знакомца братьев Ганнибалов (именно он представлял интересы и Петра, и Ивана Абрамовичей при разделе имения в 1782 году; через него впоследствии получала от мужа содержание Ольга Григорьевна). Петр Абрамович имел дела и с сыном Г. А. Лихачева Петром Гавриловичем – тогда армейским офицером, а впоследствии генерал-майором, героем Отечественной войны, скончавшимся от ран, полученных в Бородинском сражении.

Из деревни Петр Абрамович послал жене письмо, в котором, по ее словам, сообщал свое «желание», чтобы она «к успокоению его не жила более с ним вместе, а получала бы от него с детьми положенное им содержание». Ольга Григорьевна согласилась и поселилась с детьми в принадлежавшей Петру Абрамовичу мызе Елицы под Петербургом. Но хозяйкой здесь она себя не чувствовала – мызой управлял зять Петра Абрамовича Адольф Карпович Роткирх, который относился к ней недружелюбно, во всем ее стеснял. «Содержание», назначенное ей мужем, было ограниченным, хотя и не вовсе скудным, – она получала ежегодно 500 рублей деньгами и провизию натурой, имела свой выезд; особо оплачивались квартира в Петербурге, учителя для детей и содержание слуг. Это далеко от того полного равнодушия, которое проявлял к оставленной им семье Осип Абрамович.

Ольга Григорьевна соглашалась с таким положением до 1792 года, когда узнала от Ивана Абрамовича, что муж намерен продать мызу Елицы и, отобрав у нее детей, отдать их в «панцион». В январе 1792 года она через Г. Р. Державина, бывшего тогда «секретарем у принятия прошений», обратилась к императрице. Обвиняя мужа в нарушении супружеского долга, перечисляя подробно обиды и притеснения, которым подвергалась, ходатайствовала о наложении запрещения на продажу мызы и оставлении детей для воспитания под ее наблюдением, а также об учреждении опеки, через которую она могла бы аккуратно получать положенное «содержание». Несомненно, она знала о существовании опеки над дочерью Осипа Абрамовича и о том, что ее муж был одним из опекунов.