В 1540–1550 гг. Ивановская площадь еще не была местом, где располагались почти все приказы. Очевидно, что ситуация изменилась к концу 1560-х – началу 1570-х гг., когда Штаден однозначно помещает основные приказы (в т. ч. и Разбойный) на Ивановской площади, которая легко идентифицируется благодаря упоминанию о соседнем с ней Архангельском соборе. Все эти факты в совокупности позволяют предположить, что, по крайней мере в начале 50-х гг. XVI в. Разбойная изба могла располагаться не на том же месте, где было ее местонахождение в конце столетия при Борисе Годунове и в XVII в.

В 1591 г. для приказов было построено новое каменное здание П-образной формы. Его можно видеть на первом подробном плане Московского кремля (т. н. Кремленаград), который принято датировать самым началом времени правления Бориса Годунова. На плане под цифрой 10 обозначено само каменное здание приказов, под цифрой 11 – каменная палата Посольского приказа, стоявшая неподалеку, а также под цифрой 7, как обозначено на примечании к плану – Rosbono pricaes, Tribunal aut Ius grassatorum («Разбойный приказ – трибунал или суд разбойников» – А. В.). Однако, скорее всего, по недосмотру составителя плана цифру 7 не успели нанести на план, так что о местонахождении приказа приходится судить исходя из более поздних источников. Причем сам факт вынесения Разбойного, как и Посольского, приказа в примечаниях к плану отдельной цифрой говорит нам о том, что они имели каждый отдельное свое собственное помещение.

На плане здания приказов 60–70 гг. XVII в. канцелярия Разбойного приказа и его Черная палата (тюрьма) занимали крайнюю часть первого этажа дальнего крыла (считая от колокольни Ивана Великого). Рядом с Разбойным приказом стояла его изба, в конце которой располагался вход в данный приказ. Неподалеку от избы находилось еще одно здание (в нем помещались Скорняшная палата и Новая четь), стоявшее у самого Архангельского собора. Таким образом, эта изба была напротив каменных палат Посольского приказа, поблизости от юго-восточного угла Архангельского собора.

Площадь канцелярии Разбойного приказа составляла 18 квадратных саженей (почти 84 м^>2), чуть меньшее пространство занимала Черная палата. Что же до избы Разбойного приказа, то о ее площади можно судить только приблизительно. Если одна из ее сторон была длиной в 4 сажени, можно определить площадь помещения либо в 8, либо в 12 квадратных саженей (соответственно 37 или 56 м^>2). Вероятно, в этой небольшой избе дожидались приема челобитчики.

Известно и общее устройство канцелярии Разбойного приказа, помещение которой состояло из двух частей. Первая, небольшая по размерам, представляла собой отделенную от остального пространства перегородкой казенку – что-то вроде рабочего кабинета для приказных судей и дьяков, где хранились коробьи и сундуки с делами, а также деньги. Во второй размещался остальной персонал приказа – около 40 человек (подьячие, приставы и др.), а также челобитчики. Приблизительно такое же число арестантов содержалось в Черной палате, причем самые важные из них находились за решеткой.

Применительно же к плану времени Бориса Годунова и учитывая все вышесказанное, Разбойный приказ следует отождествить с двумя небольшими смежными строениями у дальнего крыла здания приказов, противоположного той стороне, где стояла палата Посольского приказа.

К 1670 г. старое здание московских приказов обветшало настолько, что находиться в нем было опасно для жизни, поэтому в этом же году царским указом многие учреждения перевели в другие помещения. В частности, Разбойный приказ переехал на Новый английский двор, располагавшийся в Китай-городе. Скорее всего, именно там и находилось это учреждение вплоть до 1702 г., когда вскоре после упразднения на его месте обосновался Дворцовый судный приказ.