За многие годы работы художником Чарльз Дойл проиллюстрировал множество книг. В 1877 году он все еще был способен создать шестьдесят причудивых, изящных иллюстраций к «Нашей поездке в Бландерланд»^>7 Джона Хея Атола Макдональда, главного юрисконсульта Шотландии, который печатался под псевдонимом Жан Жамбо, шутливо обыграв на французский лад свое первое имя и другие инициалы. В свободные часы Макдональд увлекался написанием полной шуток и каламбуров книги для детей. Автор находился под таким большим впечатлением от книг Льюиса Кэрролла об Алисе, что уже в первом же абзаце своей книги цитировал Кэрролла.

Однако профессиональная деятельность Чарльза Дойла, и в лучшие годы не слишком успешная, уже давно находилась в состоянии упадка. Его ранние работы, иллюстрации для различных лондонских издательств, были почти неизвестны в Шотландии. Чарльз настолько опустился, что стал обменивать на спиртное свои редкие теперь акварельные картины и графические зарисовки вместо того, чтобы продавать их^>8. В результате в одном из пабов Эдинбурга скопилась целая коллекция работ Чарльза Дойла. К тому времени как Артуру сравнялось три, его отец часто бывал настолько пьян, что порой не мог ни вспомнить собственного имени, ни встать с полу, перемещаясь ползком^>9. Его даже как-то раз застали за тем, что он выпил полироль для мебели.

Чарльз Дойл мог утащить из дома что угодно, чтобы обменять на выпивку. Не раз бывало, что его бедной жене приходилось отбиваться от гневных требований торговцев, представлявших ей счета за товары, которые она никогда в глаза не видела. Оказывается, Чарльз покупал их в кредит и перепродавал, чтобы выручить немного наличных. Временами Чарльз даже доходил до того, что обворовывал своих детей, таская у них мелочь из копилок. Говорили, что Чарльз нередко был готов рисковать своей жизнью и достоинством и сбегал во время запоев из-под замка, связывая веревку из своего постельного и нижнего белья и спускаясь по этой веревке из окна.

Несмотря на все тяготы и разочарования, Мэри Дойл, видимо, оставалась верна своему мужу и продолжала с теплотой относиться к Чарльзу. «Тот, кто его знал, не мог не любить его», – позже говорила она^>10. Артур же, скорей всего, крепко хранил в тайне все, что касалось отца, и ни с кем это не обсуждал, лишь порой намеками упоминал в письмах к матери.

Четверть века Чарльз Дойл трудился в Управлении общественных работ на той же должности, которую он занимал там с девятнадцати лет. Ни разу его годовая зарплата и гонорары за художественные работы не превысили сумму в 300 фунтов^>11, а этого было слишком мало, чтобы содержать дом, кормить и воспитывать большую семью. Еще в начале 1860‑х годов, едва достигнув возраста тридцати лет, Чарльз Дойл уже так сильно пил и так часто отсутствовал на рабочем месте, что в Управлении общественных работ ему наполовину срезали зарплату^>12. Лишь благодаря личному обаянию и большому таланту Чарльза Дойла руководители Роберт Мэтисон и Эндрю Керр терпели его выходки^>13. Однако в июне 1876 года, за несколько месяцев до возвращения Артура Конан Дойла в Эдинбург, во время реорганизации Управления общественных работ Чарльза Дойла уволили. Ему тогда исполнилось всего сорок четыре года. В докладной записке при назначении пенсии было великодушно упомянуто, что Чарльз Дойл «добросовестно и усердно исполнял свои обязанности»^>14, поэтому ему назначили ежегодную пенсию в размере 150 фунтов.