В 1927 году Борис Яковлевич получил разрешение вернуться на Родину. Находясь в Москве, он руководил Балканским сектором внешней разведки. Особоуполномоченного ИНО ОГПУ Базарова отличало исключительно глубокое знание политических и экономических проблем стран этого региона. В июле 1927 года он стал членом ВКП(б). А пять месяцев спустя, отмечая десятилетие создания органов государственной безопасности, Коллегия ОГПУ наградила Базарова почетным именным оружием с гравировкой: «За преданность делу пролетарской революции».

В мае 1927 года консервативное правительство Великобритании разорвало дипломатические отношения с Советским Союзом, что привело к ликвидации лондонской резидентуры ИНО ОГПУ, действовавшей под прикрытием диппредставительства СССР. Это обстоятельство вынудило руководство советской внешней разведки искать иные пути проникновения в интересующие ее английские учреждения, в частности, с позиций континентальных европейских стран. Базаров вновь направляется на нелегальную работу, на этот раз – в Германию. С позиций Берлина ему предстояло руководить нелегальной резидентурой в Англии, а также балканской линией разведки. Одновременно перед Базаровым была поставлена задача по руководству нелегальной группой разведчиков во Франции. Резиденту и его сотрудникам удалось провести ряд успешных оперативных мероприятий по приобретению ценных источников информации.

В августе 1930 года Базаров был награжден нагрудным знаком «Почетный работник ВЧК – ГПУ». В представлении к награждению отмечалось: «К особой заслуге тов. Базарова необходимо отнести четкое выполнение серьезных оперативных заданий Центра». Одним из выдающихся достижений Бориса Базарова того периода явилась вербовка шифровальщика британского Форин Оффиса, которую он осуществил совместно с сотрудником своей резидентуры – в дальнейшем видным советским разведчиком-нелегалом Дмитрием Быстролетовым. В результате этой операции разведка нашла пути проникновения в кабинеты Уайтхолла (улица в центральной части Лондона, где расположены важнейшие министерства. В переносном смысле – правительство Великобритании. – Авт.). В течение трех лет работы с агентом резидентура получала от него английские шифры и коды, дешифровальные таблицы, еженедельные сборники шифрованных телеграмм британского МИДа, другие секретные документы.

В 1934 году Базаров возвратился из командировки в Москву и занял должность начальника одного из подразделений ИНО.

Тогда же, в 1934 году, в Нью-Йорке при невыясненных обстоятельствах погиб нелегальный резидент ИНО НКВД в США Валентин Маркин. Его труп был обнаружен в одном из районов Нью-Йорка. По основной и единственной версии, которая рассматривалась в Центре, но не получила четкого подтверждения, он стал случайной жертвой гангстерской разборки.

Решением руководства советской внешней разведки в США на замену погибшего нелегального резидента был направлен Борис Базаров. При этом в первую очередь учитывался большой оперативный опыт разведчика.

Нелегальная резидентура Базарова успешно взаимодействовала с «легальной», которую возглавлял замечательный профессионал Петр Гутцайт. И не случайно в документах внешней разведки, касающихся того периода, подчеркивается: «Значительных успехов достигла советская разведка в 1930-е годы в США. Нелегальная резидентура под руководством Б. Я. Базарова завербовала нескольких ценных агентов, имевших непосредственные подходы к сотрудникам госдепартамента, и получала от них сведения по широкому кругу вопросов. Был приобретен источник со связями в окружении президента Рузвельта, передававший уникальную информацию о позиции правящих кругов страны в период вызревания в Европе военного конфликта».