Императрица Екатерина II своим указом упразднила Колмовский монастырь, повелев построить здесь больницу для умалишенных и тюремный замок, где останавливались этапы каторжан по пути в Сибирь. В колмовском «доме скорби» провела полтора года среди умалишенных таинственная Вера Молчальница, в которой некоторые современники видели удалившуюся от мира супругу Александра I Елизавету Алексеевну.

В 1865 году Колмовская психбольница перешла в ведение Новгородского земства и вскоре превратилась в одно из лучших лечебных заведений России этого профиля. Известный психиатр Синани лечил скорбных рассудком больных методом внушения без погружения в гипнотический сон. Упор также делался на трудотерапию. У больницы имелось собственное подсобное хозяйство, сад, оранжерея, пруды, огороды, скотный двор. Лечились здесь и люди известные, к примеру писатель-народник Глеб Успенский, страдавший раздвоением личности. Увы, несмотря на все усилия Синани, лечение так и не помогло.

С началом Первой мировой войны в Колмове разместился лазарет для раненых солдат и офицеров, многие из которых находились на грани помешательства от перенесенных ужасов и страданий. Готовили здесь медсестер для фронта. После революции в больнице прятался от большевиков бывший премьер-министр Временного правительства Керенский, а в советское время разместилась 1-я Ленинградская областная психиатрическая больница.

В домике врача-психиатра Андриевского по вечерам собиралась ссыльная питерская интеллигенция: философ Аскольдов, поэт и ученый-эллинист Ёгунов, художница Надежда Благовещенская, сестры Наталья и Татьяна Гиппиус. Сестры работали в местном музее реставраторами. Платили им, как бывшим «контрикам», сущие гроши, и, чтобы выжить, они лепили на продажу фигурки матрешек и гармонистов. Их знаменитая сестра поэтесса Зинаида Гиппиус, эмигрировавшая во Францию, звала сестер в Париж, но те предпочли остаться в России.

У всех за спиной были аресты, пересыльные тюрьмы, лагеря.

Василий Пономарев вскоре тоже сделался завсегдатаем «колмовских посиделок». Пили чай, иногда вино, читали свои произведения, беседовали на разные темы – от философских до сугубо бытовых. Засиживались обычно за полночь. Андриевский рассказывал о последних веяниях в психиатрии, Аскольдов пространно рассуждал на религиозно-философские темы, сестры Гиппиус вспоминали знаменитых поэтов-символистов, с которыми они тесно общались.

Надежда Благовещенская рассказывала, как в битком набитом «телячьем» вагоне вместе с ней ехали на Колыму монахини, проститутки, инженеры, воровки, артистки, колхозницы, работницы и лесбиянки. С юмором вспоминала своего следователя. Желая поразить своей образованностью, он употреблял сугубо интеллигентные выражения, вроде «после фактум» и «домкратов меч».

Душой компании вскоре сделался Борис Филистинский, оказавшийся истинным кладезем самых разнообразных познаний, будь то буддизм, классическая музыка или балет. Как в шутку говорила Лидия Андреевна, его мать: «Боря знает все, а если не знает, то выдумает».

Любимым предметом монологов Филистинского была поэзия Серебряного века. Мог часами наизусть читать стихи Гумилева, Блока, Андрея Белого, а также свои собственные стихотворения. Самозабвенно любил оперу, чтобы послушать «Ивана Сусанина» в Мариинке, однажды тайком съездил в Ленинград, рискуя схлопотать три года лагерей за нарушение паспортного режима.

Памятуя, что и у стен бывают «уши», разговоров о политике первое время старательно избегали, но начавшаяся война сразу затмила все прочие темы. В их тесной компании вскоре обозначилась трещина. Одни считали немцев врагами, другие надеялись, что они несут освобождение от большевистской тирании. Сам Василий Пономарев переживал мучительный раздрай. Ему тоже хотелось, чтобы немцы «дали чёсу» коммунистам, и все же болело сердце о родной земле.