Тем временем Екатерину Сванидзе арестовали по обвинению в хранении нелегальной литературы. Это случилось 13 ноября 1906 года. Сашико просила за нее у своих высокопоставленных заказчиц. В результате Като, учитывая ее беременность, в тюрьму сажать не стали, а присудили к двухмесячному аресту в полицейской части. Жена пристава шила платья у сестер Сванидзе. Она не разрешила мужу держать Като в комнате полицейской части, а отвезла ее к себе на квартиру. Сидеть там узнице пришлось не два, а полтора месяца. Сосо в это время был в отъезде в Баку. Вернувшись, он был удручен случившимся и захотел повидать Като. Это удалось устроить неожиданно легко. Как свидетельствует М. Монаселидзе, «моя жена отправилась к жене пристава и заявила ей, что из деревни приехал наш двоюродный брат, который желает повидать Като, если будет дано разрешение. Пристав дал на это разрешение по настоянию своей жены. Мы взяли Сосо на квартиру пристава ночью и устроили ему свидание с Като. На наше счастье ни пристав, ни его жена не знали Сосо в лицо. Затем в результате нашей настойчивой просьбы жена пристава добилась для Като ежедневного отпуска на два часа по вечерам на нашу квартиру, где Сосо и Като виделись друг с другом».

Что ж, Иосифу Сталину не чужды были простые человеческие чувства. Наверняка он искренне беспокоился за здоровье жены и будущего сына. Он родился 18 марта 1907 года. Из-за того, что брак Иосифа и Като был совершен тайно и о нем не было даже сделано отметки в паспорте жены, которая сохранила девичью фамилию, крестить его удалось лишь несколько месяцев спустя. Сына назвали Яковом. Как вспоминал М. Монаселидзе, «если ребенок начинал плакать в то время, когда он работал, Сосо нервничал и жаловался, что ребенок мешает ему работать; но когда накормят, бывало, ребенка и он успокоится, Сосо целовал его, играл с ним и щелкал его по носику. Лаская ребенка, он называл его «пацаном», и это имя осталось за ним до сегодняшнего дня».

Джугашвили не только подготовкой вооруженного восстания занимался. Он также издавал в 1906–1907 годах легальные газеты «Ахале дроеба» («Новое время») и «Чвени Цховреба» («Наша жизнь»), которые в конце концов были закрыты властями из-за пропаганды социал-демократических идей.

Джугашвили был избран делегатом на V съезд РСДРП, который состоялся в Лондоне в конце апреля – середине мая 1907 года. По дороге в Берлине он встретился с Лениным. Они обсудили предстоящую крупную экспроприацию в Закавказье. На съезде большинством голосов было принято решение в связи со спадом революции распустить боевые дружины. Среди голосовавших против были Ленин и Коба. В Лондоне Миха Цхакая заболел. Джугашвили и Степан Шаумян ухаживали за ним, но, не дождавшись выздоровления, вынуждены были пуститься в обратный путь. Цхакая думал последовать за ними, однако из-за наступившей реакции попасть в Россию не смог и вернулся только через десять лет, уже после Февральской революции. Так наиболее авторитетный руководитель закавказских большевиков оказался на долгие годы за границей, что автоматически увеличило влияние Кобы в закавказской парторганизации.

Вскоре после возвращения со съезда Джугашвили надолго перебрался из Тифлиса в Баку. Этому предшествовало одно важное событие, происшедшее при его деятельном участии. 13 июня 1907 года на Эриванской площади Тифлиса среди бела дня было совершено нападение на почтовую карету и похищено 250 тыс. рублей, перевозившихся в местное отделение государственного казначейства. В ходе перестрелки было убито более 10 человек, в основном – случайных прохожих. Непосредственным руководителем экспроприации был С.М. Тер-Петросян (Камо). Эта экспроприация была категорически осуждена меньшевиками, потребовавшими исключения из партии всех, к ней причастных. Ведь съезд только что постановил отказаться от эксов, а большевики на это решение демонстративно наплевали. В результате Коба вынужден был покинуть Тифлис, где в местной социал-демократической организации резко преобладали меньшевики. Он вынужден был вместе с женой и ребенком в июле 1907 года перебраться в Баку, где влияние большевиков, хотя они и не были в большинстве, оставалось гораздо более сильным. В Баку работа социал-демократов велась в основном легально, и полиция всех знала в лицо. Здесь Джугашвили издавал газеты «Гудок» и «Бакинский пролетарий». В первом номере «Бакинского пролетария», вышедшем 20 июня 1907 года, еще до переезда Сталина в Баку, была опубликована его статья «Лондонский съезд Российской социал-демократической партии (записки делегата)». Она была подписана псевдонимом Коба Иванович. Так партийный псевдоним Сталина впервые появился в печати.