После этого он прослужил еще два года. О семье известно немногое.

Первая супруга Александра Васильевича Потёмкина Марина Ивановна не могла иметь детей, а потому, скорее всего, постриглась в монастырь. Вскоре Александр Васильевич женился на Дарье Васильевне Скуратовой, овдовевшей в 1724 году. Племянник Григория Александровича Потёмкина, сын родной сестры Марьи, в своих воспоминаниях указал: «У Князя Потёмкина родных братьев не было, но имел пять сестёр: 1-я старшая его сестра Марья Александровна выдана была в замужество за дворянина Николая Борисовича Самойлова, служившего в армии капитаном… 2-я сестра Марфа Александровна была в замужестве за дворянином Василием Энгельгардтом… 3-я… Пелагея Александровна в замужестве за Высоцким. 4-я… Надежда Александровна скончалась девицею. 5-я, меньшая, Дарья была замужем за дворянином Лихачёвым».

Мать Григория Александровича, Дарья Васильевна была хорошо воспитана, умна, необыкновенно красива – именно её красоту унаследовал Потёмкин – и после возвышения сына стала статс-дамой при дворе.

Родился Григорий Александрович 13 сентября 1739 года в родовом селе Чижове Духовщинского уезда Смоленской губернии. Отец, поклонник всего русского, отдал его на учебу сельскому дьячку Семену Карцеву. Там и получил первоначальное образование будущий генерал-фельдмаршал. Александр Васильевич не следовал глупой моде и не приглашал для сына французских учителей, что спасло Григория, как заметил один из биографов, от «наполнения головы сведениями в духе наносной просветительской философии». Это оградило и от общения с неучами, невеждами и бандитами, из коих в то время состояла иноземная публика, подгрызавшая и подтачивавшая ещё в недалеком допетровском прошлом здоровый организм России.

В книге русского историка А. Н. Фатеева «Потёмкин-Таврический», изданной Русским Научно-исследовательским Объединением в Праге в 1945 году, приводится такой весьма характерный для того времени пример: «Французский посланник при Елизавете Лопиталь и кавалер его посольства Мессельер, оставивший записки, были поражены французами, встреченными в России в роли воспитателей юношества. Это были большей частью люди, хорошо известные парижской полиции. «Зараза для севера», как он выражается. Беглецы, банкроты, развратники… Этими соотечественниками члены посольства так были удивлены и огорчены, что посол предупредил о том русскую полицию и предложил, по расследовании, выслать их морем». Не попал на обучение к подобным жуликам Потёмкин и позже, когда его отвезли в Москву к двоюродному брату отца Григорию Матвеевичу Кисловскому для продолжения образования. Кисловский был в ту пору президентом Камер-коллегии. К нему же после смерти мужа перебралась с дочерьми и Дарья Васильевна.

Но в те давние времена село Чижово Смоленской губернии не было забыто. Существует предание, что в 1781 году туда заглянула, возвращаясь из путешествия по Белоруссии, Императрица Екатерина II. Придание это было озвучено известным мемуаристом XIX века Сергеем Николаевичем Глинкой. Он рассказал: «Если кому из читателей моих доведётся проезжать село Чижово, то он увидит беседку, и скромный бюст Князя Таврического, работы домодельной, и стакан, в который Екатерина почерпнула воду, и лист в рамке за стеклом, свидетельствующий о бытности тут Императрицы… На возвратном пути из Белорусского края Екатерина II, 4 июня 1781 года, из стен Смоленска отправилась в село Чижово… В эту поездку пригласила она с собой Румянцева-Задунайского; и мы увидим, что не без намерения. Карета Императрицы остановилась у ворот скромного дома. Румянцев окинул его быстрым взглядом. Заметя удивление на его лице, Екатерина сказала: «Князь Потёмкин устраивал Херсонскую пристань, завистники его разглашали, что он из выданных ему миллионов выстроил какие-то великолепные дворцы на родине своей, а вот его дворец». Румянцев отвечал: «Молва, как морская волна, пошумит и исчезнет, если огорчаться всеми слухами, то придётся сидеть сиднем; но и тут не уйдёшь от пересудов; одни дела оправдывают нас». Екатерина прибавила: «Я ушенадувателей не любила и не люблю. Клеветали на расточительность князя; неправда и то, что будто бы он писал мне, что не хочет и не может служить с Вами; он всегда уважал Вас».