В начале ХХ века многие представители городских властей уже понимали, что не пристало тюрьме находиться рядом с прославленным Мариинским театром и Консерваторией. Мнение это долго вызревало в недрах Городской думы, пока в 1902 году она своим постановлением не предложила тюремному ведомству взамен Литовского замка отвести участок городской земли на одной из окраин «в размере действительной надобности для новой тюрьмы» и отпустить из городских средств на постройку новой тюрьмы 367 тысяч рублей. Построить ее предполагалось за два строительных сезона. Однако предложение думы встретили в штыки: министр юстиции признал его «не подлежащим удовлетворению».

Несмотря на столь жесткую позицию, вопрос о передаче городу зданий Литовского замка продолжал время от времени будоражить умы «хозяев города». Тюремное ведомство не могло уже оставаться в стороне, но решило, по всей видимости, лишний раз поторговаться. Поэтому в 1910 году, спустя восемь лет после первой «схватки» вокруг замка, представители Тюремного ведомства заявили Городскому управлению, что их ведомство в принципе может согласиться передать замок в распоряжение города, но только при условии, если городские власти предоставят сумму в 600 тысяч рублей. По мнению «тюремщиков», именно такая сумма требовалась для строительства новой тюрьмы и отвода их ведомству около десяти десятин земли вне городской черты.

Однако Городская управа посчитала условия, предлагавшиеся Тюремным ведомством, совершенно неприемлемыми и предложила вернуться к предложению Городской думы, высказанному в 1902 году. А поскольку дело заходило в тупик, Городская дума постановила передать вопрос о Литовском замке на заключение юридической комиссии.

Но за последующие семь лет вопрос о передаче городу здания «градской тюрьмы» решить не смогли. Так и оставалось это серо-казенное здание, с двумя ангелами с крестом на фронтоне, пугалом для «интеллигентного населения» столицы.

В 1907 году целую неделю, с 1 по 7 мая, продолжались беспорядки в тюремном Литовском замке. Бунт заключенных оказался настолько серьезным, что для «умиротворения» властям пришлось прибегнуть к военной силе. Все происходило на глазах горожан, поэтому скрыть тюремный бунт было невозможно, и столичные газеты давали целые репортажи с места событий.

С утра 1 мая, как отмечал обозреватель «Петербургского листка», «все арестованные в Литовском замке проявили крайне приподнятое настроение». Тюрьма огласилась звуками революционных песен, криками и стуком. Тюремные надзиратели тщетно пытались восстановить порядок. Тогда начальство тюрьмы наложило наказание: несколько «особо опасных» бунтовщиков-зачинщиков бросили в темный карцер. Однако эта мера не привела к успокоению, а только вызвала бурное негодование остальных заключенных, которые стали «систематически производить шум и демонстративно выражать негодование».

Брожение постепенно разрасталось и 6 мая достигло своего апогея. В Литовском замке стоял беспрерывный стук и шум ломаемых дверей, табуреток, скамеек и оконных рам. Во двор замка и в Тюремный переулок (ныне переулок Матвеева между набережной Мойки и улицей Декабристов) сыпались стекла, выбитые арестованными. Как потом подсчитала тюремная администрация, убытки составили двести стекол. Именно столько стекол высадили из рам во время «первомайского бунта».

Чтобы прекратить беспорядки, администрация тюрьмы вызвала роту солдат, которая заняла Тюремный переулок и запретила проход по нему пешеходов, а также движение извозчиков. Часть роты ввели в здание самой тюрьмы. В качестве наказания за участие в беспорядках сорок заключенных посадили в «светлый карцер». К 7 мая порядок в Литовском замке восстановили, роту солдат отозвали обратно в казарму, а «рогатки» в Тюремном переулке сняли…