Родился в Царицыне (Сталинград, Волгоград) в рабочей семье. В годы Великой Отечественной войны разметчик на оборонном заводе, затем перешел на освобожденную комсомольскую работу. Из комсомола был направлен в органы прокуратуры, где прослужил пять лет на разных должностях.

В 1949 году окончил Всесоюзный заочный юридический институт. Через два года его послали на учебу в Высшую дипломатическую школу МИД СССР. С 1954 года – сотрудник этого министерства. В 1955 году направлен на работу в посольство СССР в Венгрии (пресс-атташе, третий секретарь). В 1959–1967 годах – референт, заведующий сектором, помощник секретаря ЦК КПСС Ю. Андропова.

1967–1971 годы – помощник Председателя КГБ и начальник секретариата КГБ. 1971–1974 годы – первый заместитель начальника ПГУ КГБ. С ноября 1974 года – начальник этого главка внешней разведки. С 1978 года одновременно – заместитель Председателя КГБ. В 1986 году – член ЦК КПСС. С октября 1988 по август 1991 года – Председатель КГБ СССР. В сентябре 1989 года стал членом Политбюро ЦК КПСС.

В августе 1991 года за участие в ГКЧП был арестован новой демократической властью и находился в Лефортовской тюрьме. Его обвинили по статьям 64 (измена Родине) и 260 (злоупотребление властью) УК РСФСР, но следствие не сумело справиться со своей задачей. В результате подсудимый в феврале 1994 года был освобожден по амнистии.

С октября 1994 года на пенсии. Автор книги воспоминаний «Личное дело».

Награжден двумя орденами Ленина, орденами Октябрьской Революции, Красного Знамени, двумя орденами Трудового Красного Знамени.

Названия советских агентурных сетей ввели в оборот средств массовой информации сразу после войны сами битые немецкие ловцы шпионов. И первым это сделал бывший начальник радиоконтрразведки, скрывшийся под псевдонимом В. Ф. Флике. В 1946 году в издательстве «Нептун» (Кройцлинг) вышли в свет его книги «Шпионская группа „Красная капелла“» и «Агенты радируют в Москву. Радиорезидентура „Красная тройка“».

Немецкие контрразведчики не случайно избрали такие названия. На их жаргоне нелегальный радист – «музыкант» или «пианист». А в первые дни после нападения гитлеровского вермахта на Советский Союз немцы зафиксировали появление в эфире нескольких подпольных радиопередатчиков, которые поддерживали связь с Москвой. Значит, вступил в дело целый «оркестр» или «капелла», и не чьи-нибудь, а советские, красные. Значит, «Красная капелла».

Кому принадлежали энергично стучавшие на своих радиоинструментах «пианисты» – Разведуправлению Красной армии или внешней разведке НКГБ СССР, – это немецких контрразведчиков пока не занимало. Главная задача для них: крайне необходимо точно запеленговать радиостанции и заставить их замолчать.

В Главном управлении имперской безопасности была создана особая комиссия «Красная капелла» для борьбы с этой организацией. Ее руководитель (поначалу это был криминальный советник Гиринг, а потом оберфюрер СС Панцингер) получил высокий пост заместителя начальника гестапо Генриха Мюллера.

Так и прилипло гестаповское название «Красная капелла» к агентурным сетям советских разведслужб, действовавшим до войны и в первые военные годы в сердце гитлеровской империи и в ряде европейских стран, оккупированных вермахтом. И никто не задумывается, что на самом деле не было такой разведывательной организации, схемы которой с немецкой педантичностью изображены в делах специальной комиссии, получившей то же название.

Составленное из лучших контрразведчиков гестапо и абвера, это подразделение действовало в Брюсселе и Париже и замыкалось в Берлине на начальнике Главного управления имперской безопасности обергруппенфюрере СС и генерале полиции Райнхарде Гейдрихе и шефе управления военной разведки и контрразведки адмирале Вильгельме Канарисе.