Вместе с первой поисковой системой были созданы так называемые каталоги сайтов. В них отсутствовала поисковая строка, но было разбиение проектов на категории, что значительно упрощало поиск в интернете, а потому подобные каталоги были популярнее поисковых систем.

Поисковые алгоритмы столкнулись с первым серьезным кризисом. Инженерам поисковых систем требовалось решить важнейшую дилемму: «Как упростить поиск и сделать результаты выдачи более релевантными?» И первыми, кому удалось предложить решение, стали два аспиранта Стэндфордского университета, которые в 1998 году ввели понятие page rank[5]. Идея заключалась в том, чтобы оценивать релевантность и важность любого документа в интернете по количеству и качеству ссылающихся на него других документов. Этими двумя аспирантами были Ларри Пейдж и Сергей Брин, а алгоритм page rank предназначался для поисковой системы BackRub, которая вскоре была переименована в Google.

Эта технология надолго предопределила развитие самых популярных поисковых систем. Будучи в ту пору ещё второклассником, я даже и представить себе не мог, что разработка подобного алгоритма существенно повлияет на развитие интернета и в будущем послужит для меня поводом для написания книги по столь обширной теме, но теперь интернет просто невозможно представить без данной технологии.

В первые несколько лет page rank позволил существенно повысить качество поисковой выдачи, так как манипуляции с добавлением спамной информации в мета-данные или «тело» страницы уже не были столь эффективными. Среди интернет-маркетологов быстро распространилась информация о том, что данные методы более не являются столь эффективными, а это в свою очередь снизило уровень спама. У первых интернет-маркетологов ушло значительно больше времени, чтобы понять, каким фактором ранжирования можно манипулировать для повышения рейтинга в поисковой выдаче. А те из них, кто первыми смогли определить важность качественной ссылочной массы, вошли в «зал славы» интернет-маркетологов. Например, одним из таких экспертов был высоко почитаемый мной Эрик Уорд[6], у которого мне когда-то посчастливилось обучаться основам поисковой оптимизации. Стоит ли мне подробно останавливаться на судьбе одного из проектов, который господин Уорд продвигал методом линкбилдинга, если я скажу Вам, что этот проект называется amazon.com?

Вместе с появлением page rank возникло множество стратегий, позволяющих так или иначе оказывать на него влияние. Часть подобных стратегий была направлена на рост внешней ссылочной массы самыми различными способами. Сюда можно отнести как банальный ссылочный спам или появление ссылочных бирж, так и более изощренные методы воздействия за счет влияния контента на окружение, то есть побуждение пользователей оставлять ссылки на интересный контент. Другая часть стратегий была направлена на удержание имеющегося ранга страницы, что чаще всего сводилось к добавлению в код специального тега «no follow», который давал поисковому боту сигнал о запрете передавать внутренний вес страницы. Вот что об этом говорится в официальной справочной документации Google: