Выявление мертвых ссылок для более эффективного анализа ссылок

1. URL Profiler:
2. Kerboo:
3. Кричащая лягушка:
4. Наш пример:
5. Шаблон регулярного выражения:
6. Принимая вещи дальше

Проекты анализа ссылок могут быть трудными и трудоемкими, особенно для веб-сайтов с большими профилями ссылок, поэтому оптимизация вашего рабочего процесса и повышение целостности ваших данных так важны.

За последние пару лет мне посчастливилось работать с веб-сайтами, на которые указывают десятки тысяч доменов, и с учетом временных ограничений было крайне важно ограничить размер набора данных, чтобы рекомендации были даны как можно более действенными. И один из самых простых способов сделать это - удалить ссылки, которые больше не работают.

Два крупнейших сторонних исследователя ссылок (Majestic и Ahrefs) имеют как свежие, так и исторические базы данных, которые могут помочь уменьшить количество URL-адресов, обрабатываемых с самого начала. Тем не менее, несмотря на все их усилия, довольно большая часть все еще атрофировалась.

В краткой справке Majestic: «нет API для Интернета». Необходимо сканировать сеть, чтобы открывать новые страницы, и на это нужно время. На самом деле две крупнейшие базы данных ссылок, Ahrefs и Majestic, имеют несколько триллионов обратных ссылок - это 1 000 000 000 000+, которые необходимо регулярно сканировать, чтобы поддерживать актуальность и актуальность своих баз данных.

В этом посте я расскажу о нескольких различных методах, которые вы можете использовать для определения неработающих ссылок, прежде чем начинать анализ. По моему опыту, это может уменьшить размер вашего набора данных на 30-60%.

URL Profiler:

Одним из самых простых и доступных инструментов для фильтрации ссылок является URL Profiler. Стоимость лицензии относительно низкая, и она способна обрабатывать большие объемы данных.

Чтобы определить неработающие ссылки, загрузите список URL и добавьте домен, который вы хотите проанализировать.

Проверьте в разделе «Анализ ссылок» и нажмите «Запустить Profiler».

После завершения сканирования результаты можно просмотреть в стандартном экспорте. Чтобы быть конкретным, столбец Link Status, выделенный ниже.

Если вы сталкиваетесь с большим количеством ошибок на сервере, вы можете рассмотреть возможность замедления сканирования или изменения агента пользователя на GoogleBot.

Kerboo:

Еще один отличный вариант, и инструмент, который мы обычно используем для аудит ссылок Кербу. Kerboo - это специализированный инструмент для анализа обратных ссылок, который действительно полезен, независимо от того, проводите ли вы аудит существующих ссылок или ищете новые возможности.

Kerboo автоматически объединяет данные профиля ссылки, которые можно импортировать через API-интерфейсы Majestic, Ahrefs и Search Console на постоянной основе или вручную загружать в виде списка URL-адресов. Поскольку он основан на облаке, Kerboo не потребляет всю вычислительную мощность вашего ПК, что может потребовать нескольких дней для работы с большими профилями.

В приведенном выше примере 70% полного профиля ссылки, полученного от Majestic, Ahrefs, Search Console и MOZ, больше не были активны.

Одним из преимуществ Kerboo над другими инструментами является то, что он позволяет сканировать несколько доменов. Это может пригодиться, если в прошлом ваш веб-сайт проходил миграцию домена, и вы хотели бы также сканировать ссылки, указывающие на устаревшую версию.

Кричащая лягушка:

Идентификация страниц со ссылками, которые больше не существуют, также возможна через швейцарский армейский нож SEO - Screaming Frog. Используя пользовательскую функцию извлечения Screaming Frog и относительно простое правило RegEx, можно установить, содержит ли просканированная страница ссылку на рассматриваемый сайт.

Приведенное ниже правило RegEx, как только оно будет вставлено в поле извлечения в Screaming Frog, перечислит любую страницу с действительной ссылкой, указывающей на builtvisible.com. Он будет отфильтровывать ссылки с неправильным синтаксисом HTML и искать ссылки, также указывающие на субдомены («www.», «Testing.» И т. Д.).

Наш пример:

(? Я). А {1} \ с * HREF = \ s * ( "|) \ S * (HTTP: \ / \ / | https: \ / \ / |) ([а-z0-9] { 1} + \ |.) builtvisible \ .com

Шаблон регулярного выражения:

(? Я). А {1} \ с * HREF = \ s * ( "|) \ S * (HTTP: \ / \ / | https: \ / \ / |) ([а-z0-9] { 1,} + \. |) [Пример домена] \. [Домен TLD]

Обратите внимание, что для поддержания правильного синтаксиса регулярных выражений символы «.» Необходимо экранировать, вставляя перед ними знак «\» при входе в домен верхнего уровня.

Чтобы получить максимально точные результаты, рекомендуется также выполнить обходы со следующими настройками:

• Всегда следовать перенаправлениям
• 5xx повторных попыток ответа (изменено с 0 на 5)
• Скорость сканирования (изменено на 5 URL / с с неограниченной)
• Пользовательский агент (изменен на Google-бот с Screaming Frog Bot)

После завершения сканирования Screaming Frog результаты на вкладке извлечения должны выглядеть следующим образом:

Если заполнено поле «Link Status Check 1», это означает, что была обнаружена ссылка, указывающая на определенный домен.

Важно помнить, что, в отличие от предыдущих инструментов, Screaming Frog требует значительного объема памяти при использовании режима хранения по умолчанию. Если вы сканируете несколько тысяч ссылок, стоит переключить режим памяти на внутреннюю память (HDD / SSD). Это поможет снизить нагрузку на систему в обмен на скорость.

Принимая вещи дальше

Хотя этот пост в основном посвящен рассмотрению статуса ссылки для целей аудита, существует множество других применений этого подхода. Например, при попытке восстановить баланс потерянных ссылок знание о том, что ссылки являются действующими, может значительно сократить ваш список рекомендуемых перенаправлений.

Независимо от того, для чего вы используете это, я надеюсь, что методы, обсуждаемые в этом посте, сэкономят вам время - так что вы сможете сосредоточиться на анализе важных ссылок.

Похожие

Комментарии