Осенью 1941 года он работал на авиастроительном заводе «Локхид», где встретил Норму Джин, которая трудилась в ночную смену на том же заводе. В октябре его мать Этель со своей подругой Грейс Годдард попросили Джима забирать Норму Джин и Бебе из школы на машине. Из-за переезда на Одесса-авеню добираться до школы стало гораздо дольше. В тот год Бебе серьёзно болела и не ходила в школу, поэтому Норма Джин каждый день «садилась в машину к Джиму капельку ближе», как потом рассказывал молодой человек позже.

Для Нормы Джин Джим был идеалом мужчины, благодаря его усам, конечно же. Он был старше её на пять лет, но несмотря на разницу в возрасте, она считала его «неплохим старичком». Доухерти не воспринимал её всерьёз, ведь в их возрасте пять лет считалось огромной разницей.

Однако Грейс Годдард, ставшая свахой в этой истории, заметила блеск в глазах Нормы Джин и решила действовать. Через пару дней после нападения на Перл-Харбор она спросила Этель Доухерти, можно ли Джиму сопровождать Норму Джин на рождественскую вечеринку фирмы «Адел пресижн продактс». Джим согласился.

На рождественском приёме он танцевал с Нормой Джин и заметил, что она больше не чувствует себя ребёнком. Грейс всячески поощряла их общение. Она давала девочке деньги, чтобы та ходила с Джимом в кино, предлагала им автостопом прокатиться на холмы в Голливуд-Хилс, на лодке по озеру Попс-Уиллоу, а также в округ Вентура, где они навещали сестру Джима и разбивали бивак на берегу озера Шервуд. Джим был счастлив проводить время с Нормой Джин.

Иногда они останавливались на вершине горы Малхолланд-драйв, чтобы просто поговорить. Норма Джин призналась, что она – незаконнорождённая, и это не вызвало в Джиме неприязни. Он обнял её, а радио передавало шлягеры: «Эта старая добрая чёрная магия…» и «Больше никогда не полюблю я». Норма Джин была более развитой физически и полностью полагалась на опеку Джима.

В начале 1942 года, когда Норме Джин было около шестнадцати лет, компания «Адел пресижн» предложила Доку Годдарду стать менеджером по продажам на всём Восточном побережье. Грейс и Бебе должны были отправиться туда вместе с ним, но они, посовещавшись, решили, что не могли больше содержать Норму Джин. Однажды утром Грейс сообщила об этом своей подопечной, но пообещала, что её муж «работает над чем-то замечательным».

В очередной раз Норма Джин почувствовала себя ненужной, преданной и отвергнутой. Эта информация сильно подействовала на девушку, и Грейс окончательно потеряла уважение в её глазах.

В конце января все начали готовиться к переезду, и Норма Джин вернулась к своей подруге Ане Лоуэр. В феврале и марте Джим всё ещё приезжал к Норме Джин, и она с благодарностью принимала его ухаживания. В школе некоторые заметили, что она стала слишком шумной и очень громко разговаривает. Некоторые стали считать ее слегка пристукнутой.

В марте Грейс нанесла ещё один удар юной девушке, сообщив, что Норме Джин придётся вернуться в приют. А Этель Доухерти спросила у Джима, не планирует ли он жениться на Норме Джин, которой в июне должно было исполниться шестнадцать лет, и она могла бы уже выйти замуж.

«В тот момент я подумал, что Норма Джин ещё слишком молода для меня, – вспоминал Доухерти. – Я не планировал жениться на ней, но согласился, потому что чувствовал, что под крылом моей матери она найдёт свой дом. К тому же я считал её чудесной девушкой, с которой мне будет хорошо».

Сама Норма Джин согласилась на этот брак, потому что у неё не было другого выбора. Позже она говорила, что вышла замуж за Джима, потому что не хотела возвращаться в сиротский дом.