После выполнения всех необходимых конфигураций не забудьте сохранить их. Нажмите "Файл > Сохранить настройки" для сохранения всех внесенных изменений. Это позволит вам вернуться к ним при следующем запуске программы без необходимости повторной настройки.

Запуск анализа

Теперь, когда вы выполнили установку и первичную настройку Screaming Frog, вы готовы запустить анализ. Вводите нужный URL, выбирайте сохраненные настройки и нажимайте "Начать". В процессе сканирования вы сможете наблюдать за реальной работой программы: Screaming Frog будет показывать статус и прогресс выполнения, количество обработанных URL и другие данные в реальном времени.

Помните, что первый анализ может занять некоторое время в зависимости от размеров вашего сайта и настройки сервера. Следите за процессом в режиме реального времени и готовьтесь к тому, что результаты анализа станут основой для дальнейших оптимизаций вашего веб-ресурса.

Чтобы эффективно использовать Screaming Frog для анализа вашего сайта, крайне важно правильно настроить инструменты сканирования. Ошибки на этапе настройки могут привести к неполным или неверным данным, что в дальнейшем усложнит процесс исправления обнаруженных проблем. В данной главе мы рассмотрим ключевые настройки, на которые стоит обратить внимание.

Определение глубины сканирования

Одна из первых и самых важных настроек, которые необходимо учесть, – это глубина сканирования. Эта опция определяет, сколько уровней страниц сайта будет просканировано. Если ваш сайт большой и состоит из множества подстраниц, разумно установить глубину в 3-5 уровней. Это позволит охватить большую часть контента, но при этом не перегрузит данные. Для того чтобы задать количество уровней, необходимо использовать параметры:

1. Перейдите в настройки Screaming Frog, выберите вкладку "Конфигурация".

2. Во вкладке "Паук" установите значение в поле "Глубина сканирования".

Такой подход обеспечит более полный обзор сайта и позволит вам находить скрытые ошибки на внутренних страницах.

Настройка фильтров для сканирования

После определения глубины сканирования следует заняться фильтрацией страниц. Например, вы можете исключить страницы с параметрами UTM, поскольку они часто не содержат полезной информации для SEO-анализа. Для этого перейдите в "Конфигурация" -> "Исключить" и добавьте правила фильтрации:

^.*\?.*$

Это правило исключает все URL, содержащие знаки вопроса, что позволит сосредоточиться на чистых адресах страниц. Следовательно, результаты будут более актуальными и полезными для анализа.

Настройка пользовательских агентов

Установка пользовательского агента является критически важной для того, чтобы ваш запрос к сайту выглядел как стандартный запрос от браузера. Это может помочь избежать блокировок со стороны некоторых веб-сайтов. Чтобы настроить пользовательский агент в Screaming Frog:

1. Откройте вкладку "Конфигурация".

2. Перейдите в "Пользовательский агент".

3. Выберите нужный агент или добавьте свой собственный.

Например, если вы хотите, чтобы ваши запросы выглядели так, как будто они идут от Chrome, установите соответствующий агент. Это значительно увеличивает шансы на успешное сканирование, особенно для сайтов, имеющих ограничения на загрузку со стороны сканеров.

Динамическое обновление JavaScript

Если ваш сайт использует динамический контент, загружаемый с помощью JavaScript, убедитесь, что Screaming Frog может корректно обрабатывать его. Включите опцию рендеринга JavaScript для сканирования. Для этого перейдите в "Конфигурация" -> "Паук" и установите галочку на "Рендеринг". Это позволит Screaming Frog создать снимок вашего сайта именно так, как его видит конечный пользователь.