Их первый сын Генри родился в 1807 году, за ним последовал Эдгар. Элиза По родила третьего ребенка, Розали, хотя к моменту ее рождения – а возможно, и задолго до этого – Дэвид оставил семью. Театральные представления миссис По в 1811 году в Вирджинии были очень хорошо приняты. Однако в Ричмонде, где она сыграла Джульетту и другие знаменитые роли, она заболела чахоткой.

Красивая, умирающая актриса в окружении своих маленьких детей, младшую из которых она еще кормила грудью, – это очень печальное зрелище. По словам местного торговца, дамы выражали ей свое почтение: «Сейчас преобладает необычная мода – благотворительность. Миссис По, великолепная женщина, очень больна и, после ссоры и расставания с мужем, живет в нищете. Сейчас для нее самое модное место отдыха – это палата». Газета Richmond Enquirer отметила: «Миссис По, лежащая на одре болезни и окруженная детьми, просит вашей помощи, и просит ее, возможно, в последний раз».

Элиза умерла 8 декабря. Безрассудный Дэвид По умер в Норфолке всего несколько дней спустя. Генри приютили родственники в Балтиморе, малышку Розали удочерили Уильям и Джейн Маккензи, близкие друзья Алланов. По настоянию жены Джон Аллан привез Эдгара домой.

Далее последовала еще одна трагедия: 26 декабря во время представления «Истекающей кровью монахини» в том же театре, где выступала Элиза По, произошел пожар. Погибло семьдесят два человека. Городской совет заказал мемориал. По указанию председателя Верховного суда Джона Маршалла и по проекту ученика Джефферсона на Брод-стрит построили неоклассическую восьмиугольную Епископальную монументальную церковь, а Уильям Галт – дядя Аллана – и несколько сенаторов, конгрессменов и губернаторов купили кафедру. Так рассказы о пожаре и о смерти матери объединились в памяти По.

Ричмонд являлся политическим центром и оказывал влияние на национальное правительство. Владельцы плантаций зависели от торговцев, многие из которых были шотландскими иммигрантами, такими же, как Аллан и его дядя Уильям Галт. Их расчетливая логика и скупость контрастировали с щедростью плантаторов и давно сложившимися кровными узами. Кроме того, семейные связи Фрэнсис и богатство Галта обеспечивали Алланам положение в обществе. Каждое лето семья уезжала из влажного, жаркого Ричмонда в Уайт-Салфер-Спрингс. Там Эдгар «очаровывал всех своей детской грацией» и «откровенным, ласковым и щедрым» нравом. Он был «прелестным малым, с темными кудрями и яркими глазами, одетый как молодой принц».

Общество Вирджинии гордилось традициями чести и иерархии. Они были прописаны в ритуалах балов и дуэлей, навеянных мечтательной актуальностью героических воинских саг Вальтера Скотта «Айвенго» и «Уэверли». Рабовладельческое дворянство Вирджинии посылало своих сыновей представлять свои интересы в Конгрессе, судах и Белом доме. Они ценили хладнокровие и браваду, превозносили женскую чистоту и деликатность и с тревогой следили за расовыми границами. Такие идеалы подрывались сексуальными вольностями, которые мужчины-рабовладельцы допускали по отношению к порабощенным женщинам (постоянная тема сенсационной и аболиционистской литературы).

По перемещался между гостиной, где Алланы принимали друзей и родственников, и комнатами для прислуги. В Ричмонде более трети населения находилось в рабстве. Расы смешивались бесчисленными способами, и большая часть раннего детства По прошла под присмотром чернокожих слуг, включая управляющего домом Алланов, Дэбни Дэндриджа. Воспитатели часто рассказывали ему истории, и в этих африканских сказках – которые передавались из поколения в поколение, изменялись и переосмысливались в ходе «Среднего пути» – очень часто изображались души, одержимые колдовством и опасными наваждениями, ожившие мертвые тела, злобные духи, терзающие живых. Поздние рассказы и стихи По о привидения, могилах и зомбиподобных существах станут отражением африканских и креольских сюжетов.