Screaming Frog SEO Spider — программа создана специально для оптимизаторов и служит хорошим инструментом анализа сайтов. Принцип работы у неё как у простого паука, которого запускаем в программной оболочке, он ходит по сайту и собирает информацию, а потом мы можем анализировать получившие данные.
Для работы программы требуется JAVA апплет, который далеко не все используют в системе. В связи с этим JAVA встроена в портативную сборку и размер значительно увеличился. Прошу не кричать по этому поводу и не высказывать претензий. Кому не надо, качайте дистр с сайта и ставьте в систему, при этом имейте в виду, что вы вынуждены будете инсталлировать также и JAVA апплет, как бы вам этого не хотелось бы. Программа написана на JAVA и без нее работать не будет.
Любой сайт, даже раскрученный и успешный, необходимо проверять на наличие дублей страниц, наличие битых ссылок, и прочих ошибок мешающих продвижению. Если сайт не большой, это можно сделать вручную. А как быть, если на сайте более сотни страниц? Сегодня я хочу рассказать об очень полезной программе для SEO – аудита сайта. Это программа для тех, кто занимается продвижением сайта. Программа называется Screaming Frog SEO Spider, что в вольном переводе означает "Кричащая сео лягушка". Программа создана в Великобритании. Полная версия программы платная. Плата берется в размере 99 фунтов, за год пользования программой. Lite версия, позволяет сканировать до 500 страниц сайта, и является бесплатной. Для большинства сайтов бесплатной версии вполне достаточно.
Screaming Frog SEO Spider позволяет провести аудит сайта с точки зрения SEO, анализирует: заголовки, описания, изображения, css, ссылки, извлекает ключевики и пр. SEO Spider станет незаменимым помощником для анализа средних и больших сайтов, страницы которых проверять вручную – чрезвычайно трудоемкий процесс.
Screaming Frog SEO Spider позволяет найти все, что вы хотите в исходном коде web-сайта, будь то определенный текст или код, и т.д. Паук обходит заданные сайты аналогично роботу Google, подчиняется директивам файла robots.txt и представляется как user-agent ‘Screaming Frog SEO Spider’. Данные анализа «Кричащих лягушек», которые могут быть использованы в качестве основы для SEO рекомендаций, можно отфильтровать нужным вам образом.
Что может данная программа? После запуска программа для аудита Screaming Frog SEO Spider имитирует поисковый паук Google,подчиняется директивам robot.txt. и выдает все данные по заданному сайту. Она выдает описания, мета теги, ключевые слова, изображения, ссылки внешние и внутренние. Все результаты проверки, удобно расположены в соответствующих таблицах. Она так же показывает битые ссылки и страницы редиректа. С помощью Screaming Frog SEO Spider, есть возможность создавать карту сайта. Программа позволяет экспортировать полученные данные в Excel. Причем экспортировать можно специально отсортированную информацию, которую не выводит в программной оболочке: Программа так же умеет создавать xml карты сайта, проверять robots.txt, может анализировать сайт с учетом текущего роботса или игнорируя его, можно настроить вид робота, которым проводить индекс сайта и т.п.. Да и вообще в работе программа довольно удобная.
Какую информацию Spider SEO вносит в отчет? • Ошибки — Клиент и сервер (Нет ответов, 4XX и 5XX) • Redirect — (3XX, постоянных или временных) • Content – Тип контента. • Title – Заголовок страницы.
Page Titles (Тайтлы страниц) – крайне полезная вкладка с Тайтлами страниц и информацией о них. Здесь можно найти: Страницы, где нет тайтлов. Страницы с одинаковыми тайтлами. Тайтлы, длиннее 70 символов. До недавнего времени общепринятая длина тайтла (для Гугла) составляла 60-70 символов. Но, похоже, что теперь заголовок измеряется не в символах, а в пикселях. Страницы, где тайтлы совпадают с H1 заголовками. • Meta Description – Тег Meta Description количество не более 156 символов. Meta Description (мета-описание) – информация о мета теге Description, а также его длина, список страниц с повторяющимися или отсутствующими мета описаниями. • Хэш-значение контрольная сумма для поиска страниц с дублями. • Meta Keywords – ключевые слова. • H1 – содержимое тега H1 на странице, размер не более 70 символов. • H2 – содержимое тега H2 на странице, размер не более 70 символов. • Теги — <noindex>, <follow>, <nofollow>, <noarchive>. Теги гипертекстовой разметки: Index, nosnippet, noodp, noydir и т.д. • Inlinks – Количество входящих ссылок на страницу. • Outlinks — Все страницы, где есть внешние ссылки. • XML Sitemap Generator — Вы можете создать XML sitemap. • Meta Refresh (в том числе целевой страницы и время задержки) • Атрибут Canonical • Вес страницы • Уровень глубины страницы • Внутренние ссылки • Внешние ссылки, и пр. Работа с программой не вызывает затруднений. Вводим URL сайта в окне "Enter url to spider" и нажимаем кнопку "Start". Далее ждем окончания работы программы, и анализируем полученные данные. В первой вкладке "Internal" расположена основная информация сайта. Здесь находятся все найденные страницы. Если выделить строку с адресом, то в нижней таблице можно просмотреть всю информацию по данной странице.
Internal Address — Адреса (URL) страниц сайта; Content — Тип контента (Text/Html, image/jpeg, text/css и так далее), а также кодировка на данной странице (например, utf8); Status Code — код ответа веб-сервера (например, 200, 301, 404 и т.д); Status — Статус ответа веб-сервера (например, для для кода ответа 200 — статус будет ОК, а для кода ответа 301 — статус будет Moved Permanently); Title 1 — Тайтл — заголовок данной страницы; Title 1 Length — Длинна тайтла (заголовка) в символах; Meta Description 1 — Описание страницы (тег Meta Description); Meta Description Length — Длинна содержимого Meta Description в символах; Meta Keyword 1 — cодержимое тега Meta Keyword; Meta Keywords Length — Длинна cодержимого Meta Keywords в символах; h1 – 1 — Содержимое первого тега <h1> на странице (на самом деле, по факту, тегов <h1> может быть больше — поэтому софт при наличии второго h1 выведет столбец h1-2 самостоятельно); h1 – Len-1 — Длинна содержимого тега <h1> в символах; h2 – 1 — Содержимое самого первого тега <h2> на странице; h2 – Len-1 — Длинна содержимого тега <h2> в символах; Meta Data 1 — Мета данные robots (то есть если для страницы прописан, например, <meta name=»robots» content=»noindex,follow» />, то софт выведет в столбце Meta Data 1 значение noindex, follow); Meta Refresh 1 (не нашел, что это такое — если знаете напишите в комментах); Canonical — Предпочитаемый URL — содержимое <link rel=’canonical’ href=’Предпочитаемый url’ />. Size — Размер страницы в байтах. Если хотите в Килобайтах (КБ) разделите на 1024; Level — Уровень вложенности страницы или число кликов, которое надо сделать, начиная от главной страницы сайта, чтобы попасть на данную страницу; Inlinks — Количество входящих внутренних ссылок на страницу; Outlinks — Количество исходящих внутренних ссылок с данной страницы; External Outlinks — Количество внешних исходящих ссылок (абсолютно всех, в том числе и с nofollow); Hash — Значение ХЭШ — функции страницы. Это замечательная проверка на дубликаты контента. Если 2 значения ХЭШ — функций разных страниц равны, то и контент на этих двух страницах будет одинаковый. Screaming Frog SEO Spider собирает в первую очередь значения Title 1, Meta Description 1, Meta Keyword 1, h1 – 1, h2 – 1 и так далее (то есть содержимое самых первых данных тегов в HTML коде данной страницы — они обозначены индексом 1), но если вдруг на странице присутствуют Title 2, Meta Description 2, Meta Keyword 2, h1 – 2, h2 – 2 и так далее, то в отчете будут автоматически созданы и столбцы под эти значения.
Вторая вкладка "External" дает возможность просмотреть все ссылки, которые идут с вашего сайта на другие сайты. Выделяем интересующую нас ссылку, и в нижней таблице просматриваем по ней подробную информацию.
Содержатся следующие данные о внешних ссылках на сайте: Address — Адреса (URL) внешней ссылки на сайте; Content — Тип ссылки (Text/Html, image/gif, application/x — javascript и так далее), а также кодировка на данной странице (например, utf8); Status Code — код ответа веб-сервера (например, 200, 301, 404 и т.д); Status — Статус ответа веб-сервера (например, для для кода ответа веб-сервера 200 — статус будет ОК, а для кода ответа 302 — статус будет Found); Level — Уровень вложенности страницы или число кликов, которое надо сделать, начиная от главной страницы сайта, чтобы попасть на данную страницу; Inlinks — Количество найденных внешних ссылок в масштабе всего сайта.
Содержит данные о редиректах (перенаправлениях): показывает HTTP заголовки страниц. показывает ошибки: 5XX, 4XX, 3XX, 200. Address — Адреса (URL) всех страниц сайта, а также всех исходящих ссылок; Content — Тип контента (Text/Html, image/png, image/gif и так далее), а также кодировка на данной странице (например, utf-8); Status Code — код ответа веб-сервера (например, 200, 301, 302 и т.д); Status — Статус ответа веб-сервера (например, для для кода ответа веб-сервера 200 — статус будет ОК, 301 — Moved Permanently, а для кода ответа 302 — статус будет Found);
Redirect URI — данный столбец содержит url-цель редиректа. Тип редиректа (301, 302 и так далее) смотрим в столбце Status Code.
тут собраны проблемные адреса сайта: С символами, не находящимися в ASCII. С нижними подчеркиваниями (это, конечно, не считается нарушением правил ПС, но все-таки использование дефисов «-» в адресах предпочтительнее, так как они разделяют слова, а нижние подчеркивания – нет) С заглавными буквами (адреса типа site.ru/primer и site.ru/Primer считаются дублями) Дублированные страницы Динамические адреса – они не дружественные и создают дублированный контент. Адреса страниц длиной более 115 символов – чем короче адрес, тем лучше и понятнее
Находится внизу страницы. Выбираем url в главном окне, нажимаем in links и получаем следующие данные: Type — Тип ссылки (HREF, JS, CSS, IMG); From — Ссылающийся url на исследуемую страницу; To — Ссылка выбранная в главном окне; Anchor Text — Текст ссылки (анкор ссылки); Alt Text — содержимое тега <alt> картинки; Follow — атрибут ссылки (если Follow — true, то есть это означает, что ссылка не содержит атрибут rel=»nofollow») и (если Follow — false, то есть это означает, что ссылка содержит атрибут rel=»nofollow»). Вкладка out links (исходящие ссылки). Находится внизу страницы. Выбираем url в главном окне, нажимаем out links и получаем данные аналогичные in links с той лишь разницей, что From — уже ссылка выбранная в главном окне, а To — Ссылающийся url на исследуемую страницу. Вкладка "Meta Description" дает подробную информацию мета описания страницы, длина описания, и страницы с дублями Meta Description. Очень важный показатель для продвижения. Поисковые системы до сих пор индексируют Meta Description, а Google добавляет его при выдаче сниппета. Вкладка "Images" показывает, сколько картинок расположено на сайте, вес этих картинок и альтернативный текст, который видят посетители, когда сайт медленно загружается. Если данные необходимо сохранить нажимаем кнопку Advanced Export и выбираем что необходимо сохранить. Есть возможность отфильтровать только необходимую информацию.
Из плюсов отмечу следующие особенности: очень быстрая загрузка данных с сайта; данные представлены в удобном виде, разбиты по соответствующим вкладкам; возможность настройки ручных фильтров по необходимым данным
Информация о программе: Дата выпуска: 2013 Платформа: Windows XP,Vista,7,8 Интерфейс: Английский Multilanguage Разрядность: 32bit+64bit Лекарство: Не требуется Размер: 76 Mb Формат файла: Rar Aрхив: не запаролен Информация для восстановления: 3%
Screaming Frog SEO Spider 2.11 Portable 
