12 сентября, когда мысли Байрона были еще полны спасением турецкой девушки, леди Эстер Стэнхоуп, своенравная племянница младшего Питта, прибыла в Афины и несколько дней подряд часто виделась с Байроном. Он чувствовал себя неловко рядом с этой странной неженственной женщиной. В письме к Хобхаусу он делает вывод, что «мне совсем не по душе эта опасная штука – женский ум». Леди была также немилостива с Байроном. «Мне он кажется странным. То он унылый и ни с кем не разговаривает, то дурачится со всеми. То он изображает Дон Кихота, вступая в стычку с властями города из-за женщины, а то воображает себя великим человеком. У него порочная внешность – близко посаженные глаза и нахмуренные брови». Позже Эстер развлекала друзей, изображая причуды Байрона, особенно то, как он торжественно отдавал распоряжения слугам по-новогречески.
То ли чтобы скрыться от этой суровой дамы, то ли по другим причинам, Байрон предпринял вторую поездку в Морею в середине сентября, взяв с собой Николо Жиро и двух слуг-албанцев. Поездка оказалась неудачной. Сначала они были выброшены на остров Саламин, не успев добраться до Коринфа. Потом Байрон подхватил в Олимпии лихорадку, которая задержала его в Патрах: «пять дней в постели с рвотными средствами, хиной и кучей лекарств». Позже он узнал, что обязан жизнью верным албанцам, которые угрожали убить врача, если Байрон не поправится. Наконец 2 октября «природа и Бог» восторжествовали над доктором Романелли. Однако теперь Николо заразился лихорадкой, и Байрон самоотверженно ухаживал за ним. Вернувшись в Афины, он все еще чувствовал себя слабым и изнуренным, но был счастлив, что похудел после болезни, и продолжал соблюдать диету: трижды в неделю ходил в турецкую баню, пил уксус с водой и ел один рис.
Пока Байрон отсутствовал, в Афины приехали несколько весьма любопытных иностранцев. Байрон познакомился с ними, потому что желал вести философские беседы, чего ему так не хватало после отъезда Хобхауса. Его близкими друзьями стали доктор Питер Бронстед, датский археолог, и Якоб Линк, баварский живописец, которого Байрон попросил сделать несколько зарисовок здешних пейзажей.
Байрон всегда предпочитал иностранцев своим соотечественникам. Легче, чем другие англичане, он мог приспособиться к их образу мышления. Он достаточно изучил языки, бытовавшие в Греции, чтобы изъясняться. Со своим слугой Андреасом Цантахи он говорил на дурной латыни, но, когда Андреас ушел, а «болвана Флетчера» отослали домой, Байрон принужден был говорить по-гречески. К тому времени он прилично знал итальянский, который был в большом ходу в Греции, и изучал с наставником новогреческий. Ему также помог «довольно сносный французский и некоторые турецкие проклятия, уместные, когда спотыкается лошадь или попался глупый слуга».
Кроме семей Лусьери и Фовела, которые чувствовали себя в Афинах как дома, Байрон был на короткой ноге с турками и греками, занимающими государственные и церковные должности. 14 ноября он писал Ходжсону: «Позавчера воевода (губернатор Афин) с муфтием Фив (нечто вроде мусульманского епископа) ужинали здесь и по-скотски набросились на сырую баранину, настоятель монастыря напился не хуже меня, так что мой классический пир стал всем известен».
В хорошем настроении Байрон был великолепным компаньоном, но когда начинал размышлять о чем-нибудь, то становился скучным. Он писал Хобхаусу: «…моя жизнь, за исключением нескольких месяцев, сплошная скука. Я повидал цивилизацию – самую древнюю на планете. Я растратил себя по мелочам, вкусил все удовольствия (так и скажи Мэттьюзу); мне больше не на что надеяться, и теперь надо найти достойный способ выпутаться. Если бы я мог отыскать яд Сократа…»