Несмотря на то, что на момент 1640 года между Великобританией и Францией был заключен мир, Ле Вассёр согласился на подобную авантюру. Французские поселенцы Тортуги жаловались на притеснения англичан, в то время как испанцы совершавшие карательные рейды, убивали и тех и других. По дороге Ле Вассёр завербовал еще сотню буканьеров и с легкостью выбил с острова англичан.

Ле Вассёр был инженером и соответственно думал, как инженер. Осмотрев остров, он пришёл к выводу, что здесь можно построить крепость и небольшой порт, обезопасив Тортугу от испанцев и тем самым создав для французов базу в непосредственной близости от испанских владений. Не только французские колониальные власти, но и сам Ришелье одобрили подобную инициативу и вскоре на Тортугу прислали несколько кораблей с камнем и пушками. Ле Вассёр по достоинству оценил рельеф острова и решил построить форт у бухты Бастера, на возвышенности в 750 метрах от берега. Форт строился почти пять лет, его назвали La Roche («Скала») на стенах которых были установлены пушки. Посмотрим о том, что писал о форте Александр Эксквемелин:

«Этот форт был неприступен, потому что на тропе, ведущей к нему, едва могли разойтись два человека. На склоне горы была пещера, которую использовали как склад оружия, а на вершине имелась удобная площадка для батареи. Губернатор приказал построить рядом с ней дом и установить там две пушки, соорудив для подъема на форт переносную лестницу, которую в случае нужды можно было убрать. На территории форта был вырыт колодец, и воды в нем хватило бы на тысячу человек. Вода поступала из родника, и, таким образом, извне колодец был совершенно недоступен»

Обложка знаменитой книги Александра Эксквемелина.

Возведение форта серьезно разозлило испанцев. В 1643 году испанцы решили проверить новый форт на прочность – 600 человек, приплывшие на десяти кораблях, высадились на остров, однако из-за артиллерийского огня, не смогли близко подойти к форту и бежали с острова. Как только губернатор Ле Вассёр проверил фортификацию Тортуги на прочность и завершил всё запланированное строительство, он перестал подчиняться приказам и платить налоги. Французские власти предложили укрепить форт дополнительными войсками, на что, Ле Вассёр заявил, что достаточно укрепил себя пушками и оружием, и больше не нуждается в помощи. Хитрый Де Пуанси пытался выманить инженера-гугенота на Сент-Кристофер, желая поздравить того с победой над испанцами. Ле Вассёр ответил на это предложение очень умно и тактично, заявив, что не может оставить остров без присмотра, потому что испанцы могут вернуться.

Победа значительно повысила репутацию Ле Вассёра. Беззаконники, пираты и буканьеры начали стекаться на Тортугу, губернатор открыл порт для преступников всех страх в обмен на процент от богатства каждого судна, стоящего якорем на острове. Таким образом Тортуга стала первым крупным пиратским форпостом.

Под патронажем Ле Вассёра, остров развивался стремительными темпами. Тортугу облюбовали французские, голландские и английские флибустьеры. Остров стал материальной базой для пиратов и буканьеров, им было позволено закупаться здесь припасами и материалами, к тому же остров располагался между двумя испанскими владениями – Гаити и Кубой, с Тортуги шли постоянные нападения на эти два острова. Ле Вассёр дошёл до того, что стал выдавать от своего имени каперские патенты на грабёж испанцев. Этот старый и хитрый гугенот проворачивал неплохие сделки, награбленное пиратами добро сбывалось прямо на острове. Таким образом Тортуга стала крупнейшим пиратским форпостом на ближайшее десятилетие, суда стягивались пираты и буканьеры, флибустьеры и разбойники, голландцы и англичане, французы и… После уничтожения базы корсаров на острове Провиденс, на остров стали заходить и британские корсары всех мастей. В общем на Тортуге были рады всем, кроме католиков. Ле Вассёр превратил Тортугу не только в цитадель пиратства, но и в оплот протестантов. На острове находили себя приют такие известные личности, как Генри Морган, Кристофер Мингс, Мишель Граммон.