Его праправнуком был Илларион Гаврилович Воронцов (1674–1750), сенатор (с 1742), средний сын которого М. И. Воронцов был возведен императором Карлом VII в 1744 году в графское достоинство Римской империи, а в 1760 году император Франц I возвел в графское достоинство Римской империи его братьев – Ивана Илларионовича Воронцова (1719–86), генерал-поручика (1761), сенатора (с 1761), женатого на дочери А. П. Волынского Марье (1725–93), и Романа Илларионовича Воронцова (указом 1797 род графов Воронцовых был внесен в число графских родов Российской Империи). Р. И. Воронцов имел пятерых детей, из которых наиболее известны: Екатерина Романовна Воронцова-Дашкова; Елизавета Романовна Воронцова (в замужестве Полянская) (1739–1792), фаворитка императора Петра III; Александр Романович Воронцов; Семен Романович Воронцов. Сын последнего М. С. Воронцов в 1845 году был возведен в княжеское достоинство Российской империи, и в 1852 году ему был пожалован титул «светлейшего». После смерти его бездетного сына Семена Михайловича Воронцова (1823–1882) указом 1882 года сыну дочери М. С. Воронцова – графу Павлу Андреевичу Шувалову разрешено было именоваться светлейшим князем Воронцовым-Шуваловым. Указом 1886 графу Михаилу Андреевичу Шувалову (ск. 1903), как наследнику майората Воронцовых, разрешено было именоваться светлейшим князем Воронцовым графом Шуваловым.

Иван Илларионович Воронцов имел двух сыновей: Артемия (1748–1813), действительного тайного советника, сенатора (1792–1800), и Иллариона (1730–1790). Сын последнего Иван Илларионович Воронцов (1790–1854), действительный тайный советник (1838), посланник в Мюнхене (Бавария) в 1822–27 годах, Турине (Сардиния) в 1827–31 годах. С 1831 являлся обер-церемониймейстером, с 1846-го – членом Государственного Совета, вице-канцлером Российской империи и царских орденов. После смерти Е. Р. Дашковой наследовал ее имения и в 1807 году получил право именоваться графом Воронцовым-Дашковым; из этой ветви рода наиболее известен его сын И. И. Воронцов-Дашков.

Поскольку в истории существует две основные ветви Воронцовых – князей и графов – герб графов во многом сходен с гербом князей. У князей он только увенчан княжеской мантией и княжеской шапкой. Гербовый щит разделен по горизонтали на две неравные части. В верхней, меньшей, на черном поле изображено золотое стропило с тремя гранатами, а вокруг стропила – три серебряные звезды. Эта часть герба свидетельствует о заслугах Михаила Илларионовича перед императрицей Елизаветой Федоровной при ее восшествии на российский престол.

Стропило с гранатами и серебряные звезды на черном поле входит в гербы всех лейб-компанцев.

Нижняя часть герба, бо́льшая, разделена по диагонали от правого верхнего угла к нижнему левому на два поля. Правое поле красное, а левое – серебряное. На диагональ положены две розы, а между ними – лилия. Таким образом, половина каждого цветка находится в красном поле, а половина – в серебряном. В красном поле розы и лилия имеют серебряный цвет, а в серебряном поле – красный. На щите покоится графская корона, а на ней – три дворянских серебряных шлема с золотыми обручами и цепями. На правом шлеме – дворянская корона, из которой выходит шесть знамен: два красных, два белых и два золотых с изображенными на них российскими орлами. На среднем шлеме изображена графская корона и на ней российский двуглавый орел с короной, клювом золотыми когтями. На левом шлеме – лейб-компанская шапка и с каждой ее стороны по одному черному орлиному крылу с тремя серебряными на нем звездами. Намёт с правой стороны черный с золотом, а с левой – красный с серебряным.