Вместе с Юсуповым в Архангельское прибывала часть его знаменитой библиотеки, которой на то момент заведовал француз Бенуа (интересно, что через сто с лишним лет имущество князей Юсуповых в их бывшем дворце на Мойке 94 в Ленинграде будет описывать тоже Бенуа, но только А. Н.), позже картины и скульптуры, короче «все, что было нажито непосильным трудом».
Мысли о создании полного каталога своего собрания посещали князя Юсупова постоянно. Первое собрание рисунков с картин коллекции, созданное еще до переезда в Москву в 1801 году и насчитывавшее не менее 143 изображений, явно устарело, и не отражало всего состава значительно увеличившейся и изменившейся на протяжении последних двух десятилетий коллекции. В «Путеводителе по Москве», изданном в 1824 году де Лаво, и в 1829 году переведённом, «пересочинённым и дополненным» Сергеем Глинкой в 1829 году сообщалось что «описание его изящной картинной галереи заключает четыреста картин».
Постепенно в новое имение потянулись и гости, когда князь обживался в Москве. Одним из первых восторженных поклонников Архангельского и его собраний стал знаменитый русский писатель Николай Михайлович Карамзин. Впервые он упомянул имение в 1803 году, а затем написал о нем в 1817 году в «Путешествии вокруг Москвы».
Одна из великолепнейших по собранию произведений искусств и литературы подмосковная усадьба «Архангельское» не подверглось разграблению французами в памятном 1812 году. Где был тогда ее владелец Князь Николай Борисович Юсупов? Князю было уже за 60, но он деятельно занимался проблемами доставки продовольствия русской армии и при вступлении захватчиков в Москву оказался отрезанным от города. Сохранилось письмо князя к великой княгине Екатерине Павловне в Ярославль, в котором Юсупов спрашивает о судьбе Москвы. Письмо это и ответ великой княгини позволяют полагать, что сам Николай Борисович находился в одном из ярославских своих имений, близ города Романова. 27 марта 1813 года князю написала письмо императрица Мария Федоровна: «Меня уверили, что Архангельское не подверглось разорению, и я радовалась этому, зная это прекраснейшее место».
По-видимому, приказ не трогать Архангельское, равно как и московский дом Юсупова у Харитонья в Огородниках исходил от самого Наполеона. В 1804 году Николай Борисович, находясь в Париже, встречался с императором Франции и произвел на того столь приятное впечатление, что Юсупову позволено было на всех театральных спектаклях находиться в императорской ложе. Однажды придверник ложи спросил Юсупова: «Вы-король? – «Нет, – ответил Николай Борисович. – я русский князь» – и с почтительным поклоном ему была отворена дверь императорской ложи. При прощании в Париже Наполеон подарил князю Юсупову две фарфоровые вазы старой Севрской выделки. Эти вазы вместе с тремя гобеленовыми коврами, подарком короля Людовика XVIII-го, хранятся в Архангельском, которое после уходафранцузов все-таки немного пограбили собственные крестьяне.
14 мая 1818 года Архангельское посещают императрица Елизавета Алексеевна и вдовствующая императрица Мария Федоровна, а через месяц Юсупов устроил большой праздник в честь императора Александра I и короля Прусского Фридриха Вильгельма III и Великих князей. Именно, тогда возникла у князя традиция воздвигать памятные колонны на территории усадьбы в честь визитов сюда царственных особ. Из пяти мемориальных колонн, хранивших до середины 20 века в память о визитах в усадьбу российских государей, сохранились три: в честь императоров Александра I, Николая I и Александра III, стоявшие на оси Большого партера колонны Александра II и Николая II разрушены в 1930-е годы.