Я заметил, что некоторые специалисты-практики считают такие опасения простой семантикой или ненужным «контролированием» со стороны элитарных SEO-специалистов.

В какой-то степени некоторые ветераны SEO, возможно, действительно очень слабо объединили значения этих терминов. Это может случиться во всех дисциплинах, когда те, кто обладает знаниями, перебрасываются жаргоном с общим пониманием того, что они имеют в виду. Ничего изначально плохого в этом нет.

Мы также склонны антропоморфизировать поисковые системы и их процессы, потому что интерпретация вещей путем описания их как имеющих знакомые характеристики облегчает понимание. В этом тоже нет ничего плохого.

Но эта неточность, когда речь идет о технических процессах, может сбить с толку и усложнить задачу тем, кто пытается изучить дисциплину SEO.

Можно использовать эти термины небрежно и неточно только до некоторой степени или как стенограмму в разговоре. Тем не менее, всегда лучше знать и понимать точные определения этапов технологии поисковых систем. А это позволит и лучшему пониманию работы фильтров, благодаря которым и происходит ранжирование сайтов при поисковой выдаче.

Включение веб-контента в результаты поиска осуществляется множеством различных процессов. В некотором смысле может быть грубым упрощением сказать, что для этого требуется всего несколько отдельных этапов.

Каждая из четырех стадий, которые я здесь рассматриваю, имеет несколько подпроцессов, которые могут происходить внутри них.

Помимо этого, существуют важные процессы, которые могут быть асинхронными с ними, например:

· Типы защиты от спама.

· Включение элементов в Граф знаний и обновление панелей знаний информацией.

· Обработка оптического распознавания символов в изображениях.

· Преобразование аудио в текст, в аудио и видео файлах.

· Оценка и применение данных PageSpeed.

· И более.

Ниже приведены основные этапы поиска, необходимые для того, чтобы веб-страницы отображались в результатах поиска.

ПОЛЗАНИЕ

Сканирование происходит, когда поисковая система запрашивает веб-страницы с серверов веб-сайтов.

Представьте, что Google, Яндекс и Microsoft Bing сидят за компьютером, вводят или нажимают ссылку на веб-страницу в окне своего браузера.

Таким образом, машины поисковых систем посещают веб-страницы так же, как и каждый из нас. Каждый раз, когда поисковая система посещает веб-страницу, она собирает копию этой страницы и отмечает все ссылки, найденные на этой странице. После того, как поисковая система соберет эту веб-страницу, она перейдет к следующей ссылке в своем списке ссылок, которые еще предстоит посетить.

Это называется «сканированием» или «пауками», что вполне уместно, поскольку сеть метафорически представляет собой гигантскую виртуальную сеть взаимосвязанных ссылок.

Программы сбора данных, используемые поисковыми системами, называются «пауками», «ботами» или «краулерами».

Основной программой сканирования Google является «Googlebot», в Яндекс – YandexBot/3, а у Microsoft Bing – «Bingbot». У каждого есть другие специализированные боты для просмотра рекламы (например, GoogleAdsBot и AdIdxBot), мобильных страниц и многого другого.

Этот этап обработки веб-страниц поисковыми системами кажется простым, но есть много сложностей в том, что происходит, только на этом этапе.

Подумайте о том, сколько может быть систем веб-серверов, работающих под управлением разных операционных систем разных версий, а также различных систем управления контентом (например, WordPress, Wix, Squarespace), а затем уникальных настроек каждого веб-сайта.

Многие проблемы могут помешать роботам поисковых систем, сканировать страницы, что является отличной причиной для изучения деталей, связанных с этим этапом.