По возвращении на Кавказ Сталин примкнул к большевикам, хотя Грузия в то время была цитаделью меньшевизма. В 1905 г. на IV большевистской конференции Кавказского союза РСДРП Коба был избран делегатом на I конференцию РСДРП в Таммерфорсе (Финляндия), где он впервые встретился с Лениным. Через год, на IV съезде РСДРП в Стокгольме он выступит его оппонентом по аграрному вопросу: если Ленин предлагал национализацию земли, то Коба отстаивал передачу ее крестьянам. Факт, свидетельствующий о самостоятельности его мышления, выявившейся с первых шагов его революционной деятельности: он хорошо понимал, что значит земля для крестьянина. Придет время, и аграрный вопрос будет разрешен им в оптимальной форме: национализированная к тому времени земля будет передана в вечное и бесплатное пользование производственным крестьянским коллективам – колхозам.

Вернувшись из Финляндии в первых числах 1906 г., он становится фактическим руководителем большевистских организаций Закавказья. В мае 1907 года участвует в V съезде РСДРП в Лондоне. В марте 1908-го его опять арестовывают и в феврале 1909 года ссылают в город Сольвычегодск Вологодской губернии. Но через четыре месяца он совершает побег и в июле возвращается в Баку. В марте 1910 года в связи с подготовкой всеобщей забастовки на бакинских нефтепромыслах его в третий раз арестовывают и после шести месяцев тюрьмы отправляют в прежнюю сольвычегодскую ссылку. В начале 1911 года он вновь предпринимает побег, но, добравшись до Вологды, вынужден по какой-то причине возвратиться на место ссылки и покидает его только по окончании срока, в июле того же года. Отметим, что в Сольвычегодске, в доме, где Сталин жил несколько месяцев во время второй ссылки, 21 декабря 1934 года был открыт музей. В комнате, которую занимал ссыльный И. В. Джугашвили, была воссоздана обстановка того времени. Примечательно, что музей, пережив, правда, ряд реорганизаций, существует и по сей день.

После окончания срока ссылки ему было предписано проживание в Вологде, но спустя два месяца он, одержимый желанием скорее включиться в революционную деятельность, отправляется в Петербург. Уже через три дня по прибытии в столицу его арестовывают за нарушение режима проживания. По-видимому, сочтя его проступок не очень тяжким, место новой ссылки ему предложили выбрать самому, и он выбрал Вологду, где оставались его знакомые среди ссыльных. Возможно, от них он получил адрес В. М. Молотова, по свидетельству которого, именно во время пребывания Сталина в Вологде они начали переписываться. Нелишне отметить в связи с этим, что интенсивная переписка с товарищами была для него во время ссылок одной из самых эффективных форм участия в революционной деятельности. При этом, конечно, не прекращался и обмен литературой, не останавливалась и собственная литературная работа.

В январе 1912 года на IV (Пражской) конференции РСДРП, окончательно оформился раскол партии на большевиков и меньшевиков. Вскоре после конференции, на пленуме большевистского Центрального Комитета Ленин добился кооптации Кобы в состав ЦК. Он вошел также и в состав Русского бюро ЦК – высшего оперативного органа партии. Через месяц он узнает об этом от Г. К. Орджоникидзе, приехавшего в Вологду по поручению Ленина, и сразу же совершает новый побег из ссылки. В Петербурге он руководит подготовкой к изданию большевистской газеты «Правда». Первый ее номер выходит 22 апреля (5 мая) 1912 года с написанной им передовой статьей, в которой он, с присущей ему лаконичностью стиля, формулирует главное, для чего создается газета: «Освещать путь русского рабочего движения светом международной социал-демократии, сеять правду среди рабочих о друзьях и врагах рабочего класса, стоять на страже интересов рабочего дела – вот какие цели будет преследовать «Правда» [138, с. 248].