Однако Тайная канцелярия добилась очень шатких доказательств измены царевича Алексея. С 19 по 24 июня 1718 г. царевича шесть раз пытали в каземате Петропавловской крепости. Например, 19 июня его пытали дважды: с полудня до часа и с шести до девяти часов вечера. Но записанные Толстым показания имеют сослагательное наклонение. Царевич сознавался в том, что мог бы при благоприятных условиях принять помощь от австрийского императора: «И ежели бы до того дошло и цесарь бы начал то производить в дело, как мне обещал, и вооруженной рукой доставить меня короны Российской, то я бы и тогда, не жалея ничего, доступал наследства…». Недаром Вольтер, занявшись историей Петра Великого, выражал недоумение по поводу дела царевича Алексея: «Если подобному заявлению придавалась какая-нибудь цена, как могло оно считаться существенным доказательством в процессе? Как судить мысль, гипотезу, предположение случая, не имевшего места?».

Тем не менее доказательства, собранные Толстым и его подручными, были сочтены достаточными. Царевич Алексей был приговорен к смертной казни. Ночью он внезапно скончался, по официальной версии – от апоплексического удара, а по слухам – был отравлен, задушен подушкой или даже забит насмерть кнутом в присутствии отца и Толстого.

После завершения следствия канцелярию Толстого должны были упразднить. Но Тайную розыскных дел канцелярию ждала другая судьба. Ей сразу же дали несколько дополнительных поручений, касавшихся «слова и дела». Тайная канцелярия превратилась в постоянно действующий орган. Штаты канцелярии были небольшими. Ею заведовали четыре «министра», которых потом стали называть судьями, а иногда именовали инквизиторами. Формально все четверо были равны, хотя главную роль, бесспорно, играл Толстой. В числе других судей были Г.Г. Скорняков-Писарев, И.И. Бутурлин, А.И. Ушаков. Им помогали секретарь и шесть канцелярских служащих, а также достаточное количество заплечных дел мастеров. Подобно приказам допетровской эпохи, Тайная канцелярия одновременно выполняла функции следственного органа и судебной инстанции.

Параллельно с Тайной канцелярией продолжал свою деятельность Преображенский приказ. Оба учреждения были равноправны, а императорский указ от 28 апреля 1722 г. предписывал местным властям направлять дела о государственных преступлениях либо в Преображенский приказ, либо в Тайную розыскных дел канцелярию. В основном Преображенский приказ принимал дела из Москвы и дальних местностей, а Тайная канцелярия – из новой столицы, Петербурга, и ближайших к нему провинций. Преображенский приказ выполнял гораздо больший объем работы. Так, с 1719 по 1724 г. Преображенский приказ рассмотрел 1363 дела, а Тайная канцелярия – 280 дел.

После смерти Петра Великого Толстой поспешил избавиться от тяжелой обязанности начальника Тайной канцелярии. По указу императрицы Екатерины I (1725–1727 гг.) это учреждение со всеми нерассмотренными делами было передано в ведение главы Преображенского приказа князя Ю.Ф. Ромодановского. Но и сам Преображенский приказ просуществовал только до 1729 г.

Однако самодержавная монархия не могла обойтись без ведомства политического сыска. Упраздненное при малолетнем императоре Петре II (1727–1730 гг.), оно было восстановлено уже при императрице Анне Иоанновне (1730–1740 гг.). Указ от 6 апреля 1731 г. возродил Тайную канцелярию. Ее прежний руководитель Толстой не удержался на плаву среди бурных дворцовых событий. Будучи одним из главных виновников гибели царевича Алексея, Толстой пытался воспрепятствовать воцарению его сына Петра II. Поэтому окружение малолетнего императора распорядилось отправить Толстого в тюрьму Соловецкого монастыря. В камере, куда посадили 82-летнего старика, была такая сырость, что на нем истлела одежда. Там 30 января 1729 г. Толстой скончался.