Дед мой был человек пылкий и жестокий. Первая жена его, урожденная Воейкова, умерла на соломе, заключенная им в домашнюю тюрьму за мнимую или настоящую ее связь с французом, бывшим учителем его сыновей, и которого он весьма феодально повесил на черном дворе. Вторая жена его, урожденная Чичерина, довольно от него натерпелась. Однажды велел он ей одеться и ехать с ним куда-то в гости. Бабушка была на сносях и чувствовала себя нездоровой, но не смела отказаться. Дорогой она почувствовала муки. Дед мой велел кучеру остановиться, и она в карете разрешилась – чуть ли не моим отцом. Родильницу привезли домой полумертвую и положили на постелю всю разряженную и в бриллиантах. Все это знаю я довольно темно. Отец мой никогда не говорит о странностях деда, а старые слуги давно перемерли.
Родословная матери моей еще любопытнее. Дед ее был негр, сын владетельного князька. Русский посланник в Константинополе как-то достал его из сераля, где содержался он аманатом, и отослал его Петру Первому вместе с двумя другими арапчатами. Государь крестил маленького Ибрагима в Вильне, в 1707 году, с польской королевою, супругою Августа, и дал ему фамилию Ганибал. В крещении наименован он был Петром; но как он плакал и не хотел носить нового имени, то до самой смерти назывался Абрамом. Старший брат его приезжал в Петербург, предлагая за него выкуп. Но Петр оставил при себе своего крестника. До 1716 году Ганибал находился неотлучно при особе государя, спал в его токарне, сопровождал его во всех походах; потом послан был в Париж, где несколько времени обучался в военном училище, вступил во французскую службу, во время испанской войны был в голову ранен в одном подземном сражении (сказано в рукописной его биографии) и возвратился в Париж, где долгое время жил в рассеянии большого света. Петр I неоднократно призывал его к себе, но Ганибал не торопился, отговариваясь под разными предлогами. Наконец государь написал ему, что он неволить его не намерен, что предоставляет его доброй воле возвратиться в Россию или остаться во Франции, но что во всяком случае он никогда не оставит прежнего своего питомца. Тронутый Ганибал немедленно отправился в Петербург. Государь выехал к нему навстречу и благословил образом Петра и Павла, который хранился у его сыновей, но которого я не мог уж отыскать. Государь пожаловал Ганибала в бомбардирскую роту Преображенского полка капитан-лейтенантом. Известно, что сам Петр был ее капитаном. Это было в 1722 году.
После смерти Петра Великого судьба его переменилась. Меншиков, опасаясь его влияния на императора Петра II, нашел способ удалить его от двора. Ганибал был переименован в майоры Тобольского гарнизона и послан в Сибирь с препоручением измерить Китайскую стену. Ганибал пробыл там несколько времени, соскучился и самовольно возвратился в Петербург, узнав о падении Меншикова и надеясь на покровительство князей Долгоруких, с которыми был он связан. Судьба Долгоруких известна. Миних спас Ганибала, отправя его тайно в ревельскую деревню, где и жил он около десяти лет в поминутном беспокойстве. До самой кончины своей он не мог без трепета слышать звон колокольчика. Когда императрица Елисавета взошла на престол, тогда Ганибал написал ей евангельские слова: «Помяни мя, егда приидеши во царствие свое». Елисавета тотчас призвала его ко двору, произвела его в бригадиры и вскоре потом в генерал-майоры и в генерал-аншефы, пожаловала ему несколько деревень в губерниях Псковской и Петербургской, в первой Зуево, Бор, Петровское и другие, во второй Кобрино, Суйду и Тайцы, также деревню