- Netpeak Spider
- Русскоязычный интерфейс
- Интеграция с Google Диск
- Вариативность настройки парсинга сайта
- Возможность рендеринга JavaScript
- Возможность проверки сайта различными User-agent и браузерами
- Визуальные дашборды
- Критичность ошибок и информация о конкретной ошибке + полезный материал
- Возможность интеграции с различными сервисами Яндекс и Google
- Парсинг данных
- Выгрузка отчета в формате PDF
- Screaming Frog
- Парсинг неявных дублей
- Парсинг данных из PageSpeed Insights
- Микроразметка данных
- Визуализация структуры сайта
- Выводы
Технический аудит сайта — один из важнейших шагов на старте работы с сайтом, ведь именно на данном этапе можно выявить уже имеющиеся серьезные ошибки, решение которых позволит максимально быстро улучшить позиции в поисковой выдаче. Проблем, решаемых при помощи данного аудита, великое множество — от дублирующихся мета-тегов, некорректно реализованной микроразметки, плохо оптимизированных изображений, — до работы со стилями CSS и JavaScript. Технических аспектов, на которые стоит обратить внимание, тоже довольно много, поэтому seo-специалисты в своей работе применяют различные парсеры, которые заметно упрощают и ускоряют процесс работы, а также позволяют минимизировать число возможных ошибок, благодаря автоматизированному процессу. В данной статье мы рассмотрим два наиболее известных и популярных парсера — Netpeak Spider и Screaming Frog.
Netpeak Spider
Обзоров на данный сервис было написано огромное количество, поэтому мы решили не идти проторенной дорогой, перечисляя все плюсы данного продукта, а лишь выделить те, которые, на наш взгляд, являются максимально полезными и интересными для пользователя.
Русскоязычный интерфейс
Одной из главных отличительных особенностей данного продукта от своего западного коллеги является наличие русскоязычного интерфейса.
Интеграция с Google Диск
Работа с документами в режиме online стала неотъемлемой частью бизнес-процессов большинства современных компаний. Преимущества понятны для каждого специалиста — доступ к актуальной информации в любом месте при наличии подключения к интернету заметно упрощает рабочий процесс для сотрудников, также данный подход минимизирует возможность получения неактуальной информации (допустим, один пользователь отправил некорректный файл, другой продолжил в нем работу и тд). Именно поэтому в Netpeak Spider есть возможность экспорта данных в Google Диск:
Стоит отметить, что данное удовольствие доступно лишь для пользователей расширенной PRO-версии.
Вариативность настройки парсинга сайта
При работе с некоторыми проектами, необходимо получить лишь определенную информацию, и парсить весь сайт по более чем 70 параметрам не имеет смысла. Netpeak Spider позволяет выбрать необходимые параметры, а также сохранить их в виде шаблона:
Возможность рендеринга JavaScript
JS-фреймворки все чаще и чаще используются при верстке сайта, поэтому seo-специалисту необходимо иметь возможность мониторинга и исключения ошибок в контенте, который добавляется при помощи JavaScript. Данный парсер позволяет сканировать сайт, при этом выполняя JS. Для активации данного вида парсинга необходимо перейти в Настройки и поставить соответствующую галочку:
Возможность проверки сайта различными User-agent и браузерами
Зачастую, при продвижении сайта, может возникнуть необходимость проверки на кроссбраузерность для выявления возможных проблем. Особенно актуально это будет для проектов, ориентированных на зарубежный рынок.
Представленные в сервисе User-agent:
- Google;
- Bing;
- Yahoo;
- DuckDuckGo;
- Yandex;
- Mail.ru;
- Seznam;
- Qwant;
- Baidu;
- Naver.
Доступны следующие браузеры:
- Chrome;
- Firefox;
- Opera;
- Safari;
- Yandex;
- Microsoft Edge;
- Internet Explorer.
и устройства:
- Desktop Windows;
- Desktop Mac OS X;
- Tablet Apple;
- Tablet Android;
- Mobile Apple
- Mobile Android.
Визуальные дашборды
Визуализация результатов парсинга сайта предоставляется пользователю в виде различных дашбордов:
Данное представление позволяет оценить пользователю общую картину состояния сайта, его основные ошибки и на основании полученных данных составить план работ по оптимизации проекта.
Кроме того, представление кликабельно и позволяет посмотреть перечень url, содержащих ошибки. Например, мы кликаем на кластер Неиндексируемые:
и получаем список с проблемными url:
Где мы можем получить перечень ошибок по степени важности для выделенного кластера, причем формирование данного отчета происходит мгновенно, что сильно упрощает работу специалиста. Также сервис позволяет сформировать из данного кластера Сегмент и отображать его в виде дашборда:
Получаем следующий результат:
Критичность ошибок и информация о конкретной ошибке + полезный материал
Время от времени у заказчика (чаще — программистов на его стороне) может возникать вопрос о необходимости того или иного внедрения. Данный сервис позволяет сократить время на поиск необходимого справочного материала, — при клике на ошибку в нижней части экрана отображается подсказка:
Это может быть полезно как для начинающих специалистов, для расширения профессионального кругозора, так и для всех, интересующихся данной тематикой.
Возможность интеграции с различными сервисами Яндекса и Google
Синхронизация с поисковыми аналитическими сервисами (Яндекс Метрика и Google Analytics) позволяет более широко взглянуть на проект, тем самым уделяя внимание не только технической составляющей сайта, но и анализу данных по имеющимся в индексации страницах и выявлению точек роста. Стоит отметить, что на данный момент только Netpeak Spider интегрирован с Яндекс Метрикой, что очень полезно при работе в ру-сегменте.
Полученные результаты выглядят следующим образом:
Стоит отметить, что данные в представленных дашбордах кликабельные, что позволяет по уже описанным выше способом сформировать сегмент и более подробно рассмотреть полученные результаты.
Например, нас интересует пул страниц, которые попадают в индексацию поисковой системы Яндекс, но не приносят трафика. В таком случае, мы выделяем интересующий сегмент:
А в полученных результатах можем отсортировать url, выбрав наиболее важные, либо воспользоваться готовым отчетам по ошибкам:
Помимо всего прочего, данный сервис позволяет парсить различные данные с сайта, среди которых такие важные коммерческие факторы, как цена, количество товаров, отзывов, фото и ассортимент — более 70 различных категорий. Таким образом, в режиме одного окна можно получить данные основных конкурентов и сравнить с имеющимися данными продвигаемого сайта. Более подробная информация доступна в блоге сайта-разработчика.
Данный инструментарий выглядит следующим образом:
Стоит также отметить наличие возможности сохранять необходимый шаблон под различные случаи и проекты.
Выгрузка отчета в формате PDF
Своеобразной вишенкой данного сервиса является возможность выгрузки результата парсинга сайта в формате PDF и стилистически оформленного под коммерческое предложение:
Представленные элементы кликабельны и позволяют удобно перемещаться в отчете. Отметим, что приобретая расширенную PRO версию пользователь, при помощи функции white label, может интегрировать свои контактные данные в данную выгрузку, используя ее в дальнейшем в качестве предварительного аудита для потенциальных клиентов.
Screaming Frog
Наиболее известный и популярный англоязычный сервис для проведения технического аудита сайта (и не только). Функционал программы достаточно разнообразен как в плане анализа содержимого кода, так и с точки зрения пластичности пользовательских настроек. С одной стороны, это является несомненным преимуществом, с другой — начинающий пользователь может быть несколько растерян при виде такого обилия вкладок, а также из-за отсутствия русскоязычной версии программы и официальных мануалов. Несмотря на все эти факторы, Screaming Frog остается достаточно востребованным сервисом. В нашем кратком обзоре мы постараемся выделить наиболее интересные аспекты.
Парсинг неявных дублей
При помощи вкладки Content можно проанализировать собственный сайт на наличие дублирующегося контента. Напрямую такой контент не влияет пессимизацию сайта в органической выдаче, но чем более разнообразный и уникализированный контент на сайте, тем выше у него шансы показываться выше своих конкурентов.
Для того, чтобы попасть в указанные настройки, необходимо перейти во вкладку Configuration, далее — Content
По умолчанию — футер и подвал сайта игнорируются при анализе
Выбираем язык Russian и так по всем вкладкам.
В полученных результатах парсинга мы находим раздел Content, далее получаем список результатов, ошибки на страницах и при клике на каждую страницу мы видим результаты проверки.
Парсинг данных из PageSpeed Insights
Скорость загрузки сайта не является фактором ранжирования сама по себе. В данном случае важным является момент ожидания загрузки страницы пользователем. Не секрет, если страница долго прорисовывается, то вероятность отказа гораздо выше. Поэтому определение страниц с проблемными показателями скорости загрузки и заблаговременное их решение может благоприятно сказаться на ранжировании сайта в целом.
Для перехода в меню настроек необходимо перейти во вкладку Configuration, далее — API Access и выбрать PageSpeed Insights
Внутри всплывающего окна необходимо ввести API key, получить который можно перейдя по ссылке.
Во вкладке Metrics можно выбрать необходимые параметры парсинга данных и тип устройства.
Микроразметка данных
Структурированные данные на сайте позволяют поисковым системам не только более точно понимать, какого рода информация находится на странице, но также формировать с их помощью расширенные сниппеты, которые более привлекательны в поисковой выдаче, что приводит к дополнительным кликам и переходам на сайт. Сервис Screaming Frog позволяет проанализировать имеющуюся на сайте микроразметку и выделить нарушения, если таковые имеются.
Визуализация структуры сайта
Сервис Screaming Frog позволяет визуализировать структуру сайта внутри программы, где предусмотрены различные функции масштабирования и сохранения полученных данных. Визуализация представлена в нескольких вариантах:
- Crawl Tree Graph — визуализация полученных в результате парсинга данных.
- Directory Tree Graph — визуализация всех полученных данных, в том числе и закрытых для индексации.
- Force Directed Crawl-Diagram — аналогично первому пункту, отличается визуальная составляющая.
- Force Directed Tree-Diagram — аналогичная первой визуализации, отличие также в графической составляющей.
Стоит отметить, что при наведение на отмеченные цветом элементы, можно получить сводную таблицу данных по отображаемому url:
Выводы:
Оба сервиса представляют собой примеры прекрасных помощников для seo-специалистов , и делать выводы вроде «сервис А лучше сервиса Б» не совсем корректно. Почему? Ответ прост — каждый сервис содержит огромный функционал, который так или иначе способен выполнять функции и явные фишки другого.
Однако есть несколько важных, на наш взгляд, различий между данными сервисами:
- русскоязычный интерфейс Netpeak Spider. Несмотря на то, что Screaming Frog не требует глубинных знаний технического английского, но для новичков в нише это может вызывать дискомфорт. Кроме того, тут может сказаться отсутствие официальных мануалов по сервису на русском языке;
- интеграция Netpeak Spider с Яндекс Метрикой — снова камень в огород лягушки. Сервис ориентирован на западный рынок и как следствие не интегрирован с Метрикой, которая более популярна в ру-сегменте;
- интуитивно понятная система настройки Netpeak Spider выглядит гораздо более привлекательно — нет необходимости перемещаться в настройки и различные вкладки для того, чтобы отключить какой-либо ненужный на данный момент параметр парсинга;
- встроенная база данных с ссылками на справочные материалы, а также различные авторитетные источники будет хорошим подспорьем специалисту на проекте.
Но что хорошо работает на одном проекте, то может быть недостаточным для другого, поэтому мы рекомендуем использовать функционал обеих систем, что позволит максимально точно выявить слабые технические стороны проекта.