Screaming Frog SEO Spider

Screaming Frog SEO Spider — программа для аудита сайта работающая по тем же принципам, как и робот поисковой системы Google. Программа предназначена специалистам в области SEO для качественного внутреннего SEO аудита структуры сайта.В отличие от похожей бесплатной утилиты Xenu Link Sleuth, этот «паук» отличается большей функциональностью в проведении seo аудита сайта. Frog SEO Spider работает аналогично поисковому роботу Google, умеет выполнять директивы прописанные в robots.txt, учитывает такие теги как : nofollow, noindex, follow и другие, умеет создать карту сайта, покажет наличие дублированного контента и многое другое.

Программа для аудита сайта Screaming Frog SEO Spider умеет:

  • Показывает данные ресурса (url, тип контента, кодировку, статус, titlle, meta discription, meta keywords, длину слов, H1, H2, canonical, размер, уровень вложенности, кол-во внутренних и внешних ссылок, hash каждой страницы)
  • Показывает все внешние ссылки на сайте (url, тип, ответ HTTP-заголовка, уровень вложенности страницы, кол-во внешних ссылок сайта) с возможностью их анализа по клику левой кнопкой мышки
  • Показывает все перенаправления на сайте (url всех адресов на сайте, тип, статус, перенаправление url и HTTP код ответа) с возможностью их анализа
  • Показывает все внутренние адреса ресурса (адрес, тип контента и кодировку текста, статус, hash, длину, canonical) с возможностью анализа каждого адреса и других действий
  • Анализ заголовков (адрес, название, длину)
  • Показывает ключевые слова каждой статьи (адрес, ключевые слова, длину)
  • Meta Description статьи (адрес, описание, длину)
  • Изображения сайта (адрес, тип, размер) и теги H1, H2

Дополнительно к этому, каждый адрес можно открыть во внешнем браузере, проверить его внешние ссылки, посмотреть файл robots.txt, экспортировать данные, проверить IP адрес и многое другое. Функциональность SEO Spider  для качественного аудита сайтов сделана на очень высоком уровне. Возможности SEO Spider позволяют найти различного рода ошибки, неизбежно возникающие в процессе наполнения ресурса содержимом и оперативно исправлять их.

Из плюсов SEO Spider можно отметить :

  • Работа с поддоменами
  • Очень быстрая загрузка данных
  • Возможность настройки фильтров по нужным параметрам сканирования
  • Все полученные данные представлены в удобном для просмотра виде
  • Экспорт данных на выбор по параметрам результатов сканирования
  • Выявление дубликатов контента по одинаковому Hash
  • Маленький размер — 570 kb

К недостаткам надо отнести повышенный обьем занимаемой памяти (для современного компьютера не помеха).

К чему отнести такую функцию, как возможность запрета на сканирование своего сайта  конкурентами я не знаю. В своем файле robots.txt можно прописать такую директиву —
User-Agent: Screaming Frog SEO Spider

Disallow: / и Ваш ресурс будет недоступен для программы.

Программа SEO Spider незаменима для сео аудита больших сайтов, проверка которых вручную занимает весьма значительное время. В бесплатной версии программы (500 url сканирований) некоторые функции имеют ограничения и доступны только после оплаты. Но и того функционала, что есть в бесплатной версии, вполне достаточно для seo аудита любого сайта. Очень полезная и нужная программа для любого вебмастера, из тех, что должна быть у каждого.

Скачать