В отчаянии миссис Байрон настолько забыла гордость, что обратилась к миссис Ли с просьбой одолжить ей 40 фунтов, потому что ее имущество было описано кредиторами, «все из-за долгов, которые мне пришлось оплатить по вине его расточительности». По-видимому, миссис Ли была тронута этой жалобной просьбой, которая была прислана в конверте, запечатанном красным сургучом с девизом гордых Байронов. Но Джеку Байрону нужны были только деньги для удовлетворения своих прихотей. В письме к сестре 16 февраля 1791 года он высокомерно отзывался о своей супруге и лишь однажды упомянул о сыне: «Что касается миссис Байрон, я рад, что она пишет тебе. Когда находишься далеко от нее, она кажется приятной дамой, но я клянусь всеми апостолами, что ты не проживешь с ней и двух месяцев, потому что если кому и удалось притерпеться к ней, так это мне. Что до моего сына, я рад слышать, что он здоров. Но ходить он не может, потому что нога его искривлена».

Летом Джек Байрон погрузился в трясину распутства и долгов. Трагедия, виновником которой стал он сам, подошла к концу 2 августа 1791 года. Возможно, это было самоубийство. Он оставил завещание, иронично назначая Джорджа Гордона «наследником моего личного недвижимого имущества, ответственным за оплату моих долгов и похорон».

Когда миссис Байрон получила весть о смерти мужа, даже на улице были слышны ее рыдания. Она написала миссис Ли: «Не верю, что когда-нибудь смогу справиться с горем; необходимость, а не намеренное желание разлучило нас, по крайней мере с моей стороны, и я лелею надежду, что так же чувствовал себя мой муж. Невзирая на его слабости, которые не заслуживают худшего имени, я всегда искренее любила его». Мальчику было три с половиной года, когда умер его отец. Позже он говорил Томасу Медвину: «Я прекрасно помню его, и с раннего детства у меня появился страх перед семейными узами от вида домашних ссор».

Миссис Байрон потребовалось все мужество, чтобы продолжать жить и воспитывать сына на жалкий доход, оставшийся после смерти мужа. Она всю себя отдала воспитаню своего больного ребенка. В письме к миссис Ли в Лондон она просила «помочь достать специальную обувь для Джорджа». Позднее она более подробно поведала о физическом недостатке сына: «Правая нога Джорджа повернута вовнутрь, так что он при ходьбе опирается на ребро ступни».

Мальчик с самого раннего детства очень болензненно относился к своей хромоте, возможно, потому, что часто мать в раздражении напоминала ему об этом, так же как и окружающие. Чужая няня, встретившая мальчика с Агнес Грей на прогулке, заметила: «Какой красивый ребенок! Жаль, что у него такая нога». Глаза Байрона вспыхнули от гнева, он ударил ее своим маленьким хлыстиком и крикнул: «Не смей так говорить!»

Миссис Байрон оказалась в состоянии обставить квартиру на первом этаже дома по Броуд-стрит, 64, в престижном районе в самом центре молодого города, и шла на любые жертвы, лишь бы ее сын ни в чем не нуждался, насколько этого позволяли их скудные средства. Крайне отрывочные и смутные сообщения о ранних годах жизни Байрона оставляют впечатление, что его мать била его каминными щипцами или разбивала о его голову тарелки. Однако эти семейные сцены больше свойственны бурной юности Байрона в Англии. В детстве Джордж был любящим сыном, хотя и отличался шаловливым, чувствительным и крайне мнительным нравом.

Необычному сочетанию аристократической гордости и либеральных воззрений Байрон обязан матери. Позднее он писал Джону Меррею: «Моя мать (с ее сатанинской гордостью по поводу восхождения рода Гордонов к Стюартам) постоянно подчеркивала превосходство Гордонов над англичанами Байронами». С другой стороны, она сочувствовала Французской революции. В 1792 году она написала миссис Ли: «Полагаю, что наши взгляды резко отличаются, потому что я разделяю воззрения демократов и не думаю, что следует возрождать монархию после всех предательств и клятвопреступлений, совершенных королем».