Еще в апреле 1784 года деревня Кобрино с мызой Рунёво Софийского уезда под Петербургом (110 душ) была взята в ведение Софийской дворянской опеки. Опекунами над малолетней дочерью О. А. Ганнибала Надеждой были назначены ее дяди: со стороны отца – Петр Абрамович Ганнибал, со стороны матери – Михаил Алексеевич Пушкин.

Осип Абрамович пытался по-своему трактовать решение выделить четвертую часть наследства на содержание дочери – не как четвертую часть всего имения, а только деревни Кобрино, ожесточенно отстаивал свои права на мызу Рунёво и «три души», которые якобы выделенную дочери часть превышают. За всем этим опять-таки явно чувствуется рука Устиньи Толстой. И она, и Осип Абрамович в своих прошениях обрушивались с нападками на Ивана Абрамовича, обвиняя его в измене родственным началам и несправедливой передаче опеке 10 тысяч рублей, предназначенных Осипу Абрамовичу. В 1788 году Осип Абрамович даже возбудил по поводу этих десяти тысяч судебное дело против старшего брата, которое тянулось до самой смерти Ивана Абрамовича в 1801 году.

Когда в начале 90-х годов Осип Абрамович вернулся в Псков с намерением служить по выборам и был избран заседателем Верхнего земского суда от дворян, новый псковский наместник X. Л. Зуев выборы его не утвердил, ссылаясь на решение консистории 1780 года. Это окончательно лишало его, не старого еще человека, надежды вернуться к активной жизни в обществе. Он писал в последнем прошении Екатерине: «Позор тот имел в мысли мои такое влияние, что я вскорости получил удар, который на то время лишил меня употребления обеих ног, коими и ныне едва владею».

Все жалобы его и прошения не дали результатов, и последние полтора десятка лет своей нескладной сумбурной жизни Осип Абрамович вынужден был провести в тягостном одиночестве в глухом Михайловском, кое-как управляясь с немалым своим хозяйством, насчитывавшим почти 2 тысячи десятин земли и около 400 крепостных обоего пола.

Но и здесь не знал он покоя по вине все той же Устиньи Толстой. Дорого обошлось ему легкомысленное увлечение коварной вдовушкой. Когда ей стало ясно, что Осип Абрамович как законный муж для нее потерян, Устинья Ермолаевна в январе 1797 года предъявила ко взысканию «рядную запись» на 27 тысяч рублей, выданную ей Ганнибалом при вступлении в брак в январе 1779 года[26]. Весьма маловероятно, чтобы у нее, по происхождению и первому замужеству принадлежавшей к семьям весьма скромного достатка, вообще были такие суммы, и уж совсем невероятно, чтобы она решилась доверить таковые Ганнибалу, зная его характер, а также непрочность сколоченного ею союза с ним, но документ существовал. Вскоре после смерти Екатерины II, запретившей ей подавать прошения на высочайшее имя, Толстая обратилась с челобитной к новому императору, Павлу I. 23 марта 1797 года написал императору и Осип Абрамович. Жалуясь на свою участь – человека, «угнетенного несчастными стечениями в жизни своей», он изложил «чистосердечное признание» во всем, что касалось его имущественных отношений с У. Е. Толстой и просил милостивого решения.

«По несчастию моему бывшая жена моя Устинья Ермолаева дочь, вдова покойного капитана Толстого… сего генваря месяца утруждала ваше императорское величество просьбою о взыскании с меня по рядной, данной мною ей по замужестве, в 27 тысяч рублей. Признаюсь, всемилостивейший государь, что оная действительно мною дана, но не получил за нею приданое ни малой части из означенного числа, коего она по состоянию ее до замужества, кое известно всему Псковской губернии благородному обществу, такового немаловажного количества она иметь никогда не могла, а дана оная из одной моей к ней любви и приверженности; но, оставя все сии дальновидныя исследования, я, живши еще с нею, собственностию моею построил ей в городе Пскове дом, в коем она ныне сама живет и пользуется онаго доходами, под городом купил дачу, устроил оную, доходы оной доставляют ей непосредственно; притом сделано мною ей по ее желанию довольное число бриллиантовых вещей и серебро, доставшееся мне по разделе с братьями по кончине родителя нашего, все мною ей предоставлено, что составит суммою против рядной, и она, признав уже себя удовлетворенною по оной, дала мне в том расписку, чтоб ей по оной с меня никакого взыскания не чинить, о чем неоднократно говорила господину полковнику Александру Максимовичу Вындомскому и артиллерии подпоручику Павлу Ивановичу Неелову. Но во усугубление совершенного моего несчастия, оная ея расписка у меня по бытности моем в ее доме похищена, а она, воспользуясь сим случаем, споспешествующим ее коварству, означенную рядную представила правительству, дабы по оной с меня учинить взыскание, и тем ввела меня до бедственного состояния, в коем я ныне по несчастию нахожусь. Вот истинное мое признание, августейший монарх, моего проступка и обличения ея несправедливого поступка».