Эд с сыном часто обменивались деловыми письмами о качестве урожая и о том, сколько бушелей Эрнест продал местным и сколько отправил в Оак-Парк домой. В свое время Эрнест Холл советовал Эду Хемингуэю: «У всякого человека с некоторыми сбережениями должна быть ферма», и идея о том, чтобы кормить большой выводок плодами собственной земли, имела определенную привлекательность для отца Эрнеста. Но Эрнест не любил физический труд, даже на свежем воздухе. Когда он стал старше, уклонение от домашних обязанностей стало предметом серьезных конфликтов с родителями и, в свою очередь, послужило испытанием его личности.

Вместе с другими детьми, приезжавшими к озеру на лето – Лью Клараханом, Рэем Олсеном, Карлом Эдгаром и Биллом и Кэти Смит, братом и сестрой, – Эрнест ходил в походы и попадал в обычные для подростков передряги. Один случай оставил в нем очень глубокое впечатление. Тогда Эрнест отправился на рыбалку вместе с сестрой Санни, которая родилась в 1904 году и была четвертым ребенком Хемингуэев. Они с Санни перебирались вброд через исток озера Валлун и тащили одну из лодок семьи, «Урсулу из Уиндмира», по направлению к болотистой местности под названием Крэкен. Внезапно Эрнест заметил синюю цаплю. Он поднял ружье и выстрелил – это было запрещено местными правилами охоты – и сказал Санни, что отцу наверняка захочется добавить чучело птицы к своей коллекции. Когда они сошли на берег пообедать, Эрнест убрал мертвую птицу под сиденье лодки. Вернувшись, они не нашли птицы. Что случилось потом, до конца неясно; по одной версии, Эрнест встретил сына охотинспектора, который сказал, что его отец ищет Эрнеста. Понятно, что охотинспектор не встретил теплого приема, когда приехал в «Уиндмир» за Эрнестом. Грейс Хемингуэй, выпрямившись во весь рост, обернула ситуацию таким образом, что сама стала допрашивать охотинспектора и наконец выпроводила его из своих владений с дробовиком в руках. Эрнест между тем сбежал. В этом месте мнения снова расходятся. В конце концов Эрнесту пришлось прийти с повинной и заплатить большой штраф. Потом он будет приукрашивать рассказ, утверждая, что судья едва не приговорил его к исправительному дому. Он никогда не забудет об этом столкновении с властями; очевидно, что нарушение закона произвело на него значительное впечатление. Кроме того, Эрнест был поражен тем, что Грейс заступилась за него, хотя и знала, что он был не прав. История о Грейс, размахивающей ружьем, стала любимой в семье.

Вернувшись в Оак-Парк, Эрнест начал ходить в школу Ривер-Форест рука об руку с Марселиной и строил смутные планы стать врачом. Планы начали меняться после того, как Эрнест посетил уроки английского языка и затем курсы писательского мастерства и особенно журналистики. И хотя читать Эрнест научился довольно поздно, он сразу же стал увлеченным читателем. Марселина вспоминала, как они оба запоем читали Скотта, Диккенса, Теккерея, Киплинга и Роберта Льюиса Стивенсона. К урокам, извлеченным из романов Горацио Элджера, Эрнест отнесся чрезвычайно серьезно. Семья выписывала множество журналов, от «Образцового хозяйства» до «Скрибнерс», «Компаньона молодого человека» и «Журнала святого Николая». Дети регулярно их читали. Эрнест с сестрой приняли участие в конкурсе в Третьей конгрегационалистской церкви, кто первым прочтет полную Библию короля Якова; даже после того, как победил его друг Гарольд Сэмпсон, Эрнест и Марселина продолжали и закончили чтение.