За чтение запрещённой в семинарии литературы Иосифа неоднократно наказывали карцером. Третий класс семинарии Сосо окончил хуже первых двух. В списке учеников он перешёл с пятого места на 16-е (из 24-х).

Инспектор семинарии Гермоген в марте 1897 года записал в «Журнале поведения», что «Джугашвили уже в 13-й раз замечен за чтением книг из "Дешёвой библиотеки”, и у него отобрана книга "Литературное развитие народных рас"».

В 1897 году Иосиф Джугашвили вступил в первую в Грузии социалистическую организацию, которую возглавляли Жордания, Чхеидзе и Церетели, позже ставшие широко известными меньшевиками. На следующий год Иосиф возглавил марксистский кружок для рабочих. К тому времени юноша уже читал труды Плеханова, работы Ленина.

В это время Сосо начал читать нелегальную литературу и посещать кружки марксистов. В августе 1898 года он стал членом социал-демократической организации.

В четвертом классе, когда ему исполнилось уже двадцать лет, он заметно охладел к учёбе в духовной семинарии, получал тройки почти по всем предметам и занял двадцатое место в списке успевающих (из 23-х).

В «Журнале» за учебный 1898–1899 годы число записей о нарушении порядка Иосифом резко увеличилось.

В октябре его наказали два раза карцером за нарушения во время церковных служб, а также один раз он получил карцер за опоздание из отпуска на три дня. В ноябре юноша получил два строгих выговора за нарушение дисциплины в семинарии. С декабря 1898 года по апрель 1899 год Иосифа два раза наказывали карцером за дисциплинарные нарушения, один раз его лишили права выхода в город, а 7 апреля (последняя запись в кондуитном журнале) он не поздоровался с преподавателем А. П. Альбовым, за что получил очередной выговор.

В последние годы учёбы в семинарии Сосо предложил арендовать комнату, где ученики собирались два раза в неделю. Там они обменивались мнениями о прочитанных книгах, спорили, делились своим пониманием о решении политических проблем.

Духовная семинария, Тифлис

Иосиф также редактировал созданный им рукописный журнал, (передавался из рук в руки участниками их кружка) где он освещал и разъяснял спорные политические вопросы.

В семинарии обучались также и свои осведомители, доносившие о запрещенных действиях учеников. В связи с этим Сосо уже тогда уделял много внимания конспирации, не спешил доверять даже ближайшим соратникам.

В статьях и речах юноши постепенно стали проявляться своеобразные речевая стилистика и манера аргументации, немного похожие стилю изложения богословских сочинений. Он часто использовал такие риторические приёмы, как неоднократное повторение особо важных мыслей.

Помимо обычных школьных дисциплин Иосиф преуспел также и в пении в составе хора. Преподаватель пения духовной семинарии Г. И. Елисабедашвили вспоминал о своём ученике Сосо: «У этого очень одарённого мальчика был приятный высокий голос – дискант. За два года он так хорошо усвоил ноты, что свободно пел по ним. Вскоре он стал иногда помогать дирижировать хором…». Приобщение к классическим произведениям русской музыки (в юности) способствовало в дальнейшем пониманию Иосифом Виссарионовичем наследия мировой классической музыки.

Весной 1899 года на выпускные экзамены Иосиф не пришёл, за что был исключён из семинарии. В документе об исключении И. В. Джугашвили значится: «Увольняется из семинарии за неявку на экзамены по неизвестной причине».

В апреле 1899 года бывший семинарист Иосиф Джугашвили временно вернулся в родной Гори.

«Когда Сосо исключили из семинарии, – вспоминала Мария Махароблидзе, – мать очень рассердилась на него, и Сосо прятался несколько дней в садах селения Гамбареули. Я со своими товарищами ходила тайком к Сосо и носила ему пищу». Исключение Иосифа из духовной семинарии для его мамы было сильным потрясением, она долго переживала.