Самая многообещающая гипотеза («компостельская») о происхождении этого племени еще проходит проверку, и, возможно, она окажется правильным объяснением. Многие общины каго жили вдоль главной дороги паломников, идущих в Компостелу. Их поселения чаще встречаются там, где на юго-западе несколько дорог сливаются в одну. Красный знак в форме перепончатой лапы, который этих людей иногда заставляли носить, когда-то мог быть эмблемой гильдии плотников; эта гильдия стала могущественной в Средние века, во время строительного бума на дороге в Компостелу. Члены некоторых гильдий были верны своему братству, как родному племени. Свидетельства такой крепкой верности встречаются до конца XIX века, а необычно большая область расселения каго, в которую входят совершенно разные в культурном и географическом отношении регионы, заставляет вспомнить о транснациональных братствах странствующих подмастерьев. Полукочевое сообщество чужаков, известных своим таинственным мастерством, которые нанимали для работ местных лесных жителей, разумеется, казалось остальному населению угрозой. Что-то похожее до сих пор можно почувствовать в провинции Русильон, на малолюдных участках пути в Компостелу, в деревнях, где не интересуются окружающим миром и где знаки, запрещающие «дикий» отдых, стоят рядом со знаками, отмечающими «Путь святого Иакова». Местные жители, увидев из своих окон паломников или других чужаков, гонят их дальше, спуская с цепи собак.
Трудность проверки любой теории относительно происхождения каго состоит в том, что граница расселения каго отражает главным образом не пути передвижения этого народа, а распространение предрассудков о нем. На юго-западе зона расселения каго точно совпадает с историческими границами Гаскони, это позволяет предположить, что терпимость или нетерпимость властей к предрассудку определяла пути их расселения сильнее, чем передвижения какой-либо группы людей.
Точно известно лишь то, что каго считались отдельной группой населения и что их вынуждали жить в мрачных деревушках и пригородах. Почти все, что известно о них, касается их преследования. Сохранилось очень мало сведений об их жизни и занятиях, хотя они, кажется, очень сильно ощущали свою принадлежность к своему сообществу. В Тулузе в 1600 году группа каго потребовала проверить их кровь в доказательство того, что они точно такие же, как другие люди. Когда началась революция, каго штурмовали здания муниципальной администрации, чтобы уничтожить свои свидетельства о рождении. К несчастью, одной памяти местных жителей оказалось достаточно, чтобы поддержать традицию. Очень длинные рифмованные песни сохранили имена каго для будущих поколений не хуже чем картотека бюрократа.
Один молодой пастух-поэт, каго, написал на баскском языке автобиографическую песню, по которой можно судить, как долго он учился терпеть насмешки судьбы в школе гонений.
Его любимая, пастушка, «со слезами на своих прекрасных глазах» пришла пожаловаться ему: отец перевел ее на другое пастбище, потому что кто-то сказал ему: ее жених – «агот» (так звучит слово «каго» по-баскски). В приведенной части песни первой начинает говорить девушка: