Оглядываясь на свое детство, она признает, что ее семью разрушил алкоголь, сделавший мать беспечной, а жизнь нестабильной. «Когда я росла, то никогда не знала, проснусь ли я Королевой мая или Меленькой сироткой Энни», – признавалась она. У ее родного отца тоже были проблемы с алкоголем: «Я поняла, что нам нельзя пить. В нашей семье были люди, достигшие высот, но все рушилось в один миг. Бах! И все из-за алкоголя. Если не можешь остановиться – не начинай… Для нашей семьи это яд».

Когда Великая депрессия практически уничтожила Роберта Смита, семья Лори вынуждена была больше десяти лет слоняться между Новым Орлеаном и Кроули, штат Луизиана. В какой-то момент ее отчим решил заняться продажей мороженого. «Первый раз в моей жизни, – говорила она, – у нас не было темнокожего слуги. Я думала, что это конец». В подростковом возрасте Лори переехала в Пасс Крисчен, штат Миссисипи, а потом обратно в Новый Орлеан, где в 1941 году поселилась в пансионате и какое-то время выступала во Французском квартале, а ее родители уехали в Мобил, штат Алабама. В начале Второй мировой она работала в метеобюро в Новом Орлеане, и тут Пентагон запросил, говорит ли она по-французски. «Свободно», – соврала Лори, после чего переехала в Джорджтаун. Здесь, в Вашингтоне, она встретила молодого морского офицера Уильяма Мусгрейва, за которого вскоре вышла замуж, после чего он вскоре отправился в южную часть Тихого океана.

С новым именем Лори МакЛорин Мусгрейв часть войны прожила в Сан-Франциско, посещая занятия по литографии и пересекаясь (с ее слов) с Фрэнком Ллойдом Райтом и Генри Миллером. Когда война закончилась и Уильям Мусгрейв вернулся домой, пара недолго пожила в Сан-Диего, а позже переехала в Чикаго, где он устроился на работу инженером-электриком. В 1947 году Лори родила сына Ларина МакЛорина Мусгрейва, известного по фамилии МакЛорин. В раннем возрасте он заболел воспалением легких, и Лори, переживая, какие последствия может оказать ужасная чикагская зима на ребенка, отправила сына к матери и отчиму в Мобил. Вскоре после этого Лори и Уильям развелись. Она осталась одна, но не сломалась и была счастлива. «Я просто слишком рано вышла замуж, – объясняла Лори. – Я хотела выйти развеяться и попробовать распустить крылья».

Через два года, когда Лори работала моделью в универмаге Marshall Field, она повстречала Роба Уильямса, завладевшего ее бунтарским сердцем настолько, что она купила ему обручальное кольцо и сама сделала предложение. 3 июня 1950 года мировой судья в городе Омахе, штат Небраска, зарегистрировал их брак, и молодые отправились в медовый месяц в рыбацкий домик в Хейворд, штат Висконсин. Позже Лори призналась Робу: «Это был самый паршивый медовый месяц в моей жизни».

Молодожены поселились в квартире на севере Чикаго, а 21 июля 1951 года в госпитале Wesley Memorial Лори родила сына, Робина МакЛорин Уильямса. Позже Робин шутил, что концепция естественных родов у его матери заключалась в «родах без макияжа», а Лори вспоминала, что сын появился очень легко, чуть ли не в приемной госпиталя. Пока медработники засыпали ее вопросами о личных данных, Роб ругался на них: «Отвезите женщину в палату. Она прямо сейчас родит». Лори рассказывала: «Наконец меня привезли в палату, сделали укол, а когда я проснулась, мне сказали: ”У вас родился замечательный малыш“. Вот и все».

С Робином-младшим у нее не было таких проблем, как с МакЛорином, он рос жизнерадостным и здоровым мальчиком, растить его помогала темнокожая няня по имени Сюзи. (Даже через десятки лет Лори, не смущаясь, называла Сюзи «цветной».) «Ее не исправить – не лезьте», – позже говорил о ней Робин. «Если вы попробуете и уйдете со словами: ”Я не буду это делать“, то услышите ”М-м-м, а я думаю, будешь“. Она была очень властной».