Он родился в Уинтропе, штат Массачусетс, 24 апреля 1897 года в семье Гарри Черча и Сары Эдны (урожденной Ли) Уорфов. Принадлежал к старинному американскому роду: его предки приехали из Англии и поселились в Провинстауне и других частях колонии Массачусетского залива вскоре после прибытия отцов-пилигримов. В Англии фамилия Уорф чаще всего встречается в Вест-Райдинге, в Йоркшире, и, возможно, с этим связано название реки Уорф в этом районе.

Бенджамин был очень похож на отца, как и двое его младших братьев, каждый по-своему. Бенджамин был интеллектуалом, любил книги и интересовался историей идей. Джон, родившийся в 1903 году, стал известным художником, в первую очередь акварелистом. Ричард, родившийся в 1906-м, проявил себя как актер и режиссер в театре и кино.

Интеллектуал, художник, драматург, отец преуспел во всех трех сферах. После непродолжительной учебы в Массачусетском технологическом институте (говорят, что он не проявлял интереса к изучению инженерного дела) Гарри Черч Уорф занялся прикладным искусством, дизайном, или, как он любил говорить, «замыслами», – для этого поприща подходили его талант чертежника и рисовальщика, а также богатое воображение. И в этом деле он преуспел. Среди работ, сохранившихся до наших дней, – вереница голландских девочек, опоясывающая каждую баночку известной марки чистящего порошка. Он также стал мастером быстро развивающегося в то время искусства фотолитографии. Но Гарри Уорф не собирался замыкаться в рамках одной профессии. Он использовал свои художественные дарования в многочисленных областях, среди которых важнейшее место занимала сценография. Он также писал и ставил пьесы для церковных и благотворительных организаций, написал либретто для музыкальной комедии «Бобби Шафто», которая однажды была поставлена в Бостоне. Он с удовольствием читал лекции на различные темы и, по-видимому, умел нравиться аудитории. Перед смертью в 1934 году он работал над рукописью, посвященной прибрежным областям Массачусетса – его геологии, истории, фауне, флоре.

Еще до рождения первого ребенка Гарри Уорф с супругой поселился в скромном доме в Уинтропе, пригороде, находящемся на полуострове, который закрывает Бостонскую гавань с севера. Дом, в котором хранились коллекции рисунков, книги, рукописи, химические реактивы, фототехника и прочая утварь, накопленная отцом, стал благоприятной средой для трех чрезвычайно любознательных мальчиков, наделенных талантами, которыми они и воспользовались. Подобно своим братьям, Бенджамин рано научился рисовать, но больше всего его интересовали химические реактивы, красители и фотографические аппараты. Он любил проводить различные эксперименты, например, опыт, в ходе которого жидкости разных цветов образуют разные слои в одном сосуде. Возможно, именно ранние опыты с реактивами побудили Бенджамина впоследствии изучать химические технологии в Массачусетском институте.

Он учился в государственных школах Уинтропа до старших классов, где, по нашим сведениям, учился хорошо. Далее нам известно, что уже в это время он развил привычку сильно сосредоточиваться на своих мыслях – вплоть до того, что становился рассеянным. Однажды, когда его послали в подвал за ведерком угля, он принес его, полное, в свою комнату, а не на кухню. Позже друзья иногда жаловались, что он проходил мимо них на улице, не узнавая. Не будучи особенно крепким, он был достаточно уверен в своей физической силе и защищал младших братьев от соседских хулиганов. Он любил играть с ними в интеллектуальные игры, особенно с Джоном, который был младше на шесть лет. Любимой была игра в секретные шифры: Бенджамин почти всегда мог разгадать даже самые сложные шифры, придуманные братом. Оставаясь один, Бенджамин много читал и развлекался сочинением юмористических стихов.