Уже через пять месяцев, 29 июля 1939 года, Серова из милиции переводят в госбезопасность – тоже руководителем. Ни дня не проработав чекистом, он становится заместителем начальника Главного управления государственной безопасности (ГУГБ) НКВД СССР – 1‑го заместителя наркома внутренних дел СССР комиссара госбезопасности 3‑го ранга Всеволода Николаевича Меркулова. Одновременно Серов исполняет обязанности начальника 2‑го (секретно-политического) отдела ГУГБ НКВД СССР.
Но на этом головокружительный взлёт вчерашнего артиллериста не закончился. 2 сентября того же 1939 года он становится наркомом внутренних дел Украинской ССР с присвоением ему звания комиссара государственной безопасности 3‑го ранга. Это означает, что, впервые перешагнув порог Лубянки в январе 1939 года в звании армейского майора, через полгода он становится генерал-лейтенантом, а в следующем 1940 году – членом Политбюро ЦК КП(б) Украины. На этой должности он близко сходится с первым секретарём ЦК КП(б) Украины Никитой Хрущёвым. Оба они оказываются густо замешаны в кровавых репрессиях против партийного и советского актива, и особенно интеллигенции после присоединения Западной Украины, начавшегося 17 сентября 1939 года. Согласно данным Архива Президента РФ, за 1938–1940 годы, в бытность Хрущёва первым секретарём, на Украине было арестовано 167 565 человек. К этому времени относится и сближение Серова с Жуковым, назначенным 7 июня 1940 года командующим войсками Киевского особого военного округа.
Дружба с Жуковым укрепилась в годы войны, когда Серов, заместитель наркома внутренних дел СССР, с 11 января 1945 года был Уполномоченным НКВД СССР по 1‑му Белорусскому фронту, а со 2 мая – заместителем командующего 1‑м Белорусским фронтом маршала Жукова по делам гражданской администрации. 4 июля 1945 года 1‑й Белорусский фронт был переименован в Группу советских оккупационных войск в Германии (ГСОВГ), главнокомандующим которой остаётся возглавлявший войска фронта маршал Жуков. Уполномоченным НКВД – МВД СССР по ГСОВГ по-прежнему является генерал-полковник Серов. Одновременно Жуков с Серовым с 6 июня 1945 года возглавили Советскую военную администрацию в Германии (СВАГ).
В марте 1946 года маршал Жуков был назначен главнокомандующим Сухопутными войсками – заместителем министра Вооружённых Сил СССР, а в июне был обвинён в незаконном присвоении трофеев и раздувании своих заслуг в деле разгрома Гитлера с личной формулировкой Сталина: «Присваивал себе разработку операций, к которым не имел никакого отношения». 9 июня 1946 года Жуков был снят с должности главкома Сухопутных войск – замминистра Вооружённых Сил СССР и назначен командующим войсками Одесского округа.
20 января 1948 года Политбюро приняло постановление «О т. Жукове Г.К., Маршале Советского Союза», в котором говорилось: «Тов. Жуков в бытность главнокомом группы советских оккупационных войск в Германии допустил поступки, позорящие высокое звание члена ВКП(б) и честь командира Советской Армии. Будучи обеспечен со стороны государства всем необходимым, тов. Жуков злоупотреблял своим служебным положением, встал на путь мародёрства, занявшись присвоением и вывозом из Германии для личных нужд большого количества различных ценностей. В этих целях т. Жуков, давши волю безудержной тяге к стяжательству, использовал своих подчинённых, которые, угодничая перед ним, шли на явные преступления… Будучи вызван в комиссию для дачи объяснений, т. Жуков вёл себя неподобающим для члена партии и командира Советской Армии образом, в объяснениях был неискренним и пытался всячески скрыть и замазать факты своего антипартийного поведения. Указанные выше поступки и поведение Жукова на комиссии характеризуют его как человека, опустившегося в политическом и моральном отношении».