20 декабря 1920 года подписанным Дзержинским приказом № 169 «О создании Иностранного отдела (ИНО) ВЧК» Давтян был назначен исполняющим обязанности начальника ИНО ВЧК. Он активно включился в процесс разработки Положения об Иностранном отделе ВЧК, определения его структуры и штатного состава. Но если в НКИД, где Давтян одновременно продолжал работать, он был официально утвержденным начальником отдела и членом коллегии, то его статус в ИНО в качестве исполняющего обязанности начальника был менее определенным. Однако с официальным назначением Давтяна на столь ответственный пост Дзержинский не торопился, желая, очевидно, более детально изучить его личные и деловые качества.
Подобное положение, видимо, не устраивало Давтяна. Через месяц официальной работы в качестве исполняющего обязанности руководителя внешней разведки он подает рапорт с просьбой перевести его на дипломатическую работу за рубежом и возвращается в НКИД.
Преемником Давтяна на посту начальника ИНО ВЧК 20 января 1921 года стал Рубен Павлович Катанян, являвшийся до этого заведующим агитационно-пропагандистским отделом ЦК РКП(б). Однако на посту начальника внешней разведки он проработал недолго и уже 10 апреля по собственному желанию перешел на прокурорскую работу.
10 апреля 1921 года Иностранный отдел ВЧК вновь возглавил, но теперь уже в должности официального начальника, Яков Давтян (Давыдов). Но и на этот раз он недолго руководил внешней разведкой. Уже в августе 1921 года Давтян переводится на дипломатическую работу и назначается полпредом РСФСР в Литве. Пробыв в Ковно до сентября того же года, он становится временным поверенным в делах РСФСР в Китае в ранге советника. При этом Давтян, как было оговорено ранее, одновременно утверждается главным резидентом ИНО ВЧК в Китае, где в ту пору работало около десятка разведывательных коллективов.
Яков Христофорович энергично взялся за дело. Через полгода он докладывает в Центр: «Работа здесь весьма интересная, захватывающая, но очень трудная, чрезвычайно ответственная. Отдаленность от Москвы, плохая связь, взаимное непонимание еще больше осложняют нашу работу… Я никогда (даже в ИНО) так много не работал, как здесь».
Давтяну действительно удалось активизировать работу разведки в этой стране, особенно по белой эмиграции. В частности, мукденская резидентура через свою агентуру в японских спецслужбах добыла уникальный архив белогвардейской контрразведки, касающийся всего Дальнего Востока. Исключительно высоких результатов добилась резидентура ИНО ОГПУ в Харбине. Ее сотрудниками было получено свыше двадцати японских шифров.
В годы Великой Отечественной войны из Китая в Центр поступала весьма важная политическая информация по Японии. А основы этой блестящей работы советской внешней разведки в данном регионе были заложены в ту пору, когда главным резидентом Иностранного отдела в Китае был Яков Давтян.
В начале 1925 года Давтян возвращается в Москву и в мае назначается советником полпредства СССР во Франции, которое в то время возглавлял известный революционер и активный сторонник Троцкого Христиан Раковский. В Париже Давтян принимает участие в работе различных международных конференций, неоднократно замещает полпреда, которому в Москве не очень доверяли из-за его близости к Троцкому, и по-прежнему оказывает помощь резидентуре ИНО ОГПУ.
Осенью 1927 года Давтян занимает пост полномочного представителя СССР в Персии (Иране). В 1932 году он становится полпредом СССР в Греции, а в апреле 1934 года – полпредом СССР в Польше. На VII съезде Советов СССР в 1935 году избирается членом ЦИКа СССР.