Опала началась с воцарением Павла I, который с особой строгостью относился к офицерам, выдвинувшимся при его матери. В 1797 году, будучи шефом (покровителем) Азовского мушкетерского полка, Волконский был уволен со службы за отказ явиться на инспекторский смотр, назначенный императором. Боевой генерал (а он принимал участие во взятии Очакова) был уязвлен оказанным недоверием царя и сказался больным.

«Не думаю, однако, чтобы это очень его огорчило, – считает сын писателя Сергей Львович Толстой. – Не с ним одним так поступил Павел, а общественное мнение того общества, к которому принадлежал Волконский, было за него…»

Но через полтора года Николай Сергеевич был восстановлен императором в прежнем положении. Его назначили архангельским военным губернатором, затем произвели в генерал-аншефы, «полные генералы». В 1799 году он был уволен со службы по собственному прошению.

Николай Сергеевич Волконский, по-видимому, верно изображен своим внуком в романе «Война и мир» в образе старого князя Болконского. Да и сохранившиеся живописные портреты соответствуют этому образу. В одном из вариантов «Войны и мира» Толстой так описывает деда: «Князь был свеж для своих лет, голова его была напудрена, чистая борода синелась, гладко выбрита. Батистовое белье манжет и манишки были необыкновенной чистоты. Он держался прямо, высоко нес голову, и черные глаза из-под густых, широких бровей смотрели гордо и спокойно над загнутым сухим носом, тонкие губы были сжаты твердо…»

От деда Толстой унаследовал понятия о чести и долге, независимость суждений и вольнодумство, внутреннюю осанку, которая чувствовалась в нем всегда, особенно в позднем возрасте. От деда он унаследовал и свой эстетизм. «Все его постройки не только прочны и удобны, но чрезвычайно изящны», – подчеркивает Толстой в «Воспоминаниях». Получив в наследство Ясную Поляну и поселившись в ней после отставки, Николай Сергеевич первоочередной задачей поставил не строительство дома для удобного проживания, но переустройство усадебного ландшафта в стиле «парадиза» XVIII века. «Волконский, верный и последовательный “вольтерьянец”, шел в ногу со временем и был охвачен усадебной лихорадкой… – пишет исследователь жизни Толстого Н. А. Никитина. – Своей страстью и энтузиазмом он преобразовывал прежний облик Ясной Поляны, придавал благородные черты ампира, так пленившие впоследствии его внука. Князь удачно вписал свой ансамбль в сложный рельеф, удачно используя элементы прежней планировки: въездную усадебную аллею “Прешпект”, Большой пруд, регулярный парк “Клины”. Дед писателя строился основательно и вдумчиво… Именно в ампире князь Волконский нашел то, что искал: простоту, порядок и красоту. Он являл собой уникальный тип людей, в котором сопрягались порядочность с тонким эстетическим чувством. В нем всё – от одежды до душевного стиля – было à la classique».

После смерти жены, Екатерины Дмитриевны (урожденной Трубецкой), утешением его старости стала дочь, родившаяся в 1790 году. Образ княжны Марьи в «Войне и мире» лишь отчасти соответствует своему прототипу. Верно, что она была некрасива, и потому отец, не слишком надеясь на ее замужество, воспитывал дочь «по-спартански»: ежедневные моционы, физическая культура (мать Толстого недурно играла в бильярд), занятия математикой и иностранными языками (владела французским, английским, немецким, итальянским и, что было необычно для девушек той поры, прекрасно писала по-русски).

Но есть в романе два важных несоответствия.

Если судить по «Войне и миру», отец и дочь жили в Ясной Поляне (в романе имение называется Лысые Горы) замкнуто и безвыездно. Гордый и своенравный князь Болконский любил говорить: «Ежели кому меня нужно, то тот из Москвы 150 верст доедет до Лысых Гор, а мне ничего и никого не нужно». Так считали почти все ранние биографы Толстого. Но позднейшие исследования доказали, что Волконские не были такими уж затворниками. Знаток истории толстовского рода Т. Г. Никифорова пишет: «Вопреки сложившемуся мнению (отчасти под влиянием образов старого князя Болконского и княжны Марьи в “Войне и мире”) жизнь Н. С. Волконского и его дочери отнюдь не была затворнической… Из дневника князя Дмитрия Михайловича Волконского, родного племянника Н. С. Волконского, видно, что аристократический военный круг, литературно-ученая среда, к которой принадлежал автор дневника благодаря разветвленным родственно-дружеским связям, была и той культурно-исторической средой, в которой проходила жизнь отца и дочери Волконских».