С назначением 25 ноября 1938 года Л. П. Берии на должность народного комиссара внутренних дел СССР В. С. Абакумов с декабря 1938 года исполнял обязанности начальника, а 27 апреля 1939 года был утверждён в должности начальника управления НКВД по Ростовской области. Во время допросов применял свою физическую силу для получения признательных показаний от подследственных.
3 февраля 1941 года указом Президиума Верховного совета СССР Народный комиссариат внутренних дел был разделён на непосредственно НКВД (нарком – Л. П. Берия), и НКГБ (нарком – В. Н. Меркулов). В это же время Абакумов был назначен на должность заместителя народного комиссара внутренних дел СССР и начальника Управления Особых отделов НКВД СССР, которое в июле 1943 года было преобразовано в СМЕРШ. В апреле 1943 года Виктор Семёнович Абакумов был назначен на должность начальника Главного управления контрразведки «СМЕРШ» и заместителя народного комиссара обороны. «СМЕРШ» оказался наиболее эффективной контрразведывательной структурой Второй мировой войны. Деятельность немецкой агентуры в советском тылу была практически парализована. За годы войны были нейтрализованы более 3500 диверсантов и 6000 террористов. На освобожденных территориях выявлялись и задерживались нацистские пособники, уничтожались отряды националистов. В первые месяцы после Победы была проведена поистине титаническая работа по проверке бывших военнопленных и гражданских лиц, угнанных в Германию.
Осенью 1945-го Сталин, будучи недовольным работой НКГБ, инициировал разработку новой структуры наркомата и всерьез хотел перетряхнуть всю руководящую верхушку. С начала 1946-го на рассмотрение Сталину были представлены несколько вариантов оргструктуры НКГБ—МГБ. Планировалось включить ГУКР СМЕРШ в состав МГБ, а Абакумова назначить заместителем министра по общим вопросам. Сталину показалось этого мало. Решением Политбюро ЦК ВКП (б) 4 мая 1946-го была утверждена новая структура МГБ и вместо Меркулова министром был назначен Абакумов. В ходе приема-передачи дел в МГБ Абакумов приложил все усилия, чтобы опорочить работу своего предшественника. Внезапное возвышение вскружило ему голову, и среди своего ближайшего окружения Абакумов заявлял: «Хотя Меркулов и был министром, но ЦК боялся и дорогу туда не знал», тогда как сам он, «еще работая начальником контрразведки СМЕРШ, уже знал себе цену и уже тогда, не в пример Меркулову, сумел завоевать себе прочный авторитет».
В 1946 г., по инициативе Абакумова был осужден ряд руководителей авиационной промышленности и ВВС: нарком авиапромышленности А.И.Шахурин, Главный маршал авиации, главком ВВС А.А.Новиков, главный инженер ВВС А.К.Репин, и другие. Выяснилось, что они виновны в поставках в армию некачественных самолетов (в ходе испытаний и эксплуатации гибли и машины, и летчики), что ради перевыполнения плана они запускали в производство заведомо «сырые» машины, подделывали отчетность, и совершали другие должностные преступления. Впоследствии их реабилитировали – только потому, что они были осуждены Абакумовым, хотя большинство из предъявленных им обвинений А.И.Шахурин в своих мемуарах признает.
Назначая Абакумова министром госбезопасности, Сталин хотел видеть во главе этой организации благодарного за высокий пост и полностью преданного ему, и только ему, служаку. Сталину нужен был министр, наводящий страх на всё его окружение, включая и членов Политбюро. Своим сотрудникам Абакумов так и заявил: «Меня все должны бояться, в ЦК мне об этом прямо сказали. Иначе, какой же я руководитель ЧК». Авторство этого наказа вполне очевидно. «ЧК» – именно так Сталин обычно называл госбезопасность, независимо от того, какая аббревиатура на тот момент была в ходу: НКВД, МГБ или любая иная. И Абакумов воспринял это напутствие как руководство к действию. Ему нравилось его новое положение и его особая значимость. Он любил со злорадством говорить, как по компрометирующим материалам, добытым МГБ, «погорел тот или иной руководитель». Став министром, Абакумов продолжает все свои смершевские дела: на маршала Жукова, на заместителя министра внутренних дел Серова и на всё их окружение.