Но для советской власти первостепенной задачей на Востоке оставалось управление КВЖД. 31 мая 1924 года было заключено «Соглашение об общих принципах для урегулирования вопросов между СССР и Китайской Республикой». В четвертой статье соглашения все договоренности с бывшим царским российским правительством лишались силы. Советский Союз отказывался от прав и привилегий, таких как право экстерриториальности и консульская юрисдикция8. Управление железной дорогой перешло к Китайской Республике и СССР. КВЖД переходила в собственность Китая.
В октябре 1924 года в Особом районе Восточных провинций появились советские представители, а 5 октября в Харбине открылось Генеральное консульство СССР. С этого момента на КВЖД могли работать только китайские и советские граждане9. Многие рабочие железной дороги получали советские паспорта.
Ситуация резко меняется в 1928 году. Политическая обстановка в Китае становится крайне нестабильной, что приводит к гражданской войне и столкновению правительства Китайской Республики и китайских коммунистов. В декабре 1928 года было подписано соглашение между Нанкинским правительством и маршалом Чжан Сюэляном, одним из ведущих политических деятелей Гоминьдана. Маршал был назначен главнокомандующим войсками Северо-Восточного Китая. В стране устанавливался гоминдановский режим во главе с Чан Кайши. В декабре того же года Чан Кайши, выступавший за единоличное управление КВЖД Китаем, объявил советско-китайский договор неравноправным10.
На железной дороге начинаются столкновения. Китайская полиция в конце 1928 года захватила телефонную станцию КВЖД, а в конце мая 1929 года на Генеральное консульство СССР в Харбине произвели вооруженный налет. 10–11 июля железнодорожная магистраль уже была захвачена, советское руководство отстранено от должностей, а многие работники арестованы11. На границе начались столкновения армий Чжан Сюэляна и РККА. Эти события стали известны как советско-китайский конфликт 1929 года. Проблема требовала решения и согласия обеих сторон. 13 декабря 1929 года в Хабаровск для введения переговоров прибыл дипломат Министерства иностранных дел Китая Цай Юньшэн. 22 декабря стороны подписали «Хабаровский протокол об урегулировании конфликта на КВЖД»12, восстановивший совместное советско-китайское управление железной дорогой. После «конфликта на КВЖД» советская сторона начала процесс укрепления границ.
В 1931 году Япония вторглась в пределы Маньчжурии и оккупировала территорию. По решению Всеманьчжурской Ассамблеи, проведенной 1 марта 1932 года, было образовано государство Маньчжоу-Го.
СССР не признал новое государство, японские вооруженные силы в Маньчжурии угрожали безопасности советских границ. До 12 декабря 1932 года дипломатические отношения с Китаем были прерваны13, что немедленно отразилось и на работе КВЖД. Начались беспорядки, советских служащих железной дороги арестовывали, к 1933 году провокации со стороны японской администрации только усилились. Путем к прекращению постоянных конфликтов стала продажа КВЖД Маньчжоу-Го. Для Японии покупка КВЖД означала полный контроль над Маньчжурией. Переговоры о продаже КВЖД начались 25 июня 1933 года в Токио. И только 23 марта 1935 года было подписано соглашение между СССР и Маньчжоу-Го об уступке Маньчжоу-Го прав СССР в отношении КВЖД14.
Соглашение фактически стало началом дипломатических отношений двух стран. Юридически же дипломатические отношения между СССР и Маньчжоу-Го установились лишь 13 апреля 1941 года. В Харбине и Синьцзине открылись консульства СССР, а с 1933 года в Москве, Чите и Благовещенске – консульства Маньчжоу-Го