Напряженная работа не стала помехой для совершенствования и приобретения знаний в области исторических и юридических наук, литературы и искусства. Благодаря исключительной способности к изучению иностранных языков, Иван Агаянц свободно владел французским, персидским, турецким и испанским языками, достаточно хорошо знал английский и итальянский.

В 1936 году энергичного молодого сотрудника переводят в аппарат внешней разведки, а уже в 1937 году направляют на оперативную работу во Францию. В парижской резидентуре он находился сначала под прикрытием сотрудника Торгпредства, а затем – заведующего консульским отделом Посольства СССР.

По возвращении в Москву в конце 1939 года после успешной отработанной командировки Агаянц становится начальником отделения, а вскоре – заместителем начальника одного из подразделений 5-го (разведывательного) отдела ГУГБ НКВД СССР (внешней разведки).

В начале 1940 года И.И. Агаянц направляется резидентом в Иран. Обстановка в этой стране в то время была сложной. Благодаря умелой, всесторонне продуманной организации широкого комплекса разведывательных мероприятий, большой личный вклад в которую внес Агаянц, резидентура успешно справилась со стоявшими перед ней задачами. Агаянц лично участвовал в проведении разведывательных операций, связанных порой с риском для жизни, проявлял незаурядные способности в вербовочной работе. В документах того времени, в частности, говорилось: «Важная оперативная разведывательная информация, получаемая советскими разведчиками в Иране, сыграла существенную роль при принятии военным командованием и руководством страны тех или иных политических и военно-стратегических решений».

Сложная и ответственная работа выпала Агаянцу и его сотрудникам накануне и в ходе Тегеранской конференции руководителей трех союзнических государств, состоявшейся в конце 1943 года. Советской разведке во главе с её главным резидентом в Иране удалось переиграть Отто Скорцени, готовившего покушение на лидеров СССР, США и Великобритании, и разрушить замыслы террористов.

После Ирана, в 1946 году, Иван Иванович вновь выезжал в Париж, теперь уже в качестве резидента. Однако по состоянию здоровья командировка не была продолжительной (дал себя знать хронический туберкулез, которым этот энергичный и жизнестойкий человек страдал с середины тридцатых годов).

В то время в Париже проходила вторая сессия Совета министров иностранных дел СССР, США, Великобритании и Франции, готовившая проекты договоров для предстоящей Мирной конференции. Ивану Ивановичу пришлось организовывать работу по оказанию помощи советской делегации, которую возглавляли В.М. Молотов и А.Я. Вышинский.

Парижская резидентура под руководством Агаянца активизировала работу: был расширен круг источников за счет хорошо осведомленных людей, приобретены новые ценные агенты и доверительные связи. Сотрудникам резидентуры удало сь добыть секретный вариант плана Маршалла, который дал возможность советской делегации строить свою работу с учетом политических целей США в Европе.

Только этих результатов, достигнутых за год работы Агаянца во главе резидентуры, хватило бы для того, чтобы оценить его как крупного разведчика, внесшего большой вклад в укрепление позиций СССР на международной арене.

С 1948 года Агаянц работал на руководящих должностях в центральном аппарате внешней разведки – начальником Управления Комитета информации, начальником кафедры Высшей разведывательной школы. В 1959 году возглавил Службу активных мероприятий. В середине 1960-х годов газета «Нью-Йорк геральд трибюн» сообщала, что ЦРУ направило в Конгресс США доклад, в котором, в частности, указывалось, что «осуществлению многих оперативных мероприятий американских спецслужб активно мешает деятельность управления советской внешней разведки, возглавляемого генералом Агаянцем». В 1967 году И.И. Агаянц был назначен заместителем начальника Первого главного управления КГБ при СМ СССР (внешняя разведка).