Управление поисковыми системами для лучшей индексации

1. Сканирование и индексация в нескольких словах Управляйте процессами сканирования и индексации на...
2. Как работает индексирование?
3. Как повлиять на сканирование и индексирование
4. Методы контроля сканирования и индексации
5. Окончательный чит на Crawling and Indexing
6. Директивы роботов
7. Канонический URL
8. Атрибут Hreflang
9. Атрибуты пагинации
10. Мобильный атрибут
11. Часто задаваемые вопросы о сканировании и индексировании
12. Исследуйте как поисковые системы: поставьте себя на их место
13. Другие ситуации, когда функция Explorer, такая как Google, оказывается удобной
14. 1. Часто ли Google ищет мой сайт?
15. 2. Могу ли я замедлить сканеры, когда они исследуют мой сайт?
16. 4. Что означает индексация сайта?
17. 5. Может ли мой сайт быть проиндексирован поисковыми системами?
18. 6. Часто ли Google индексирует мой сайт?
19. 7. Сколько времени понадобится Google, чтобы проиндексировать мой сайт?

Сканирование и индексация в нескольких словах

Управляйте процессами сканирования и индексации на своем сайте, сообщая свои предпочтения поисковым системам.

Вы поможете им понять, на каких частях вашего сайта они должны сосредоточиться, а какие игнорировать. Есть много способов пойти, так какой метод применять, когда?

В этой статье мы увидим, когда использовать каждый метод, выделяя преимущества и недостатки.

Поисковые системы каждый день охватывают миллиарды страниц, но они не индексируют так много и отображают в своих результатах еще меньше. Ваша цель - чтобы ваши страницы были среди них. На данный момент, как вы можете повлиять на этот процесс и улучшить SEO?

Чтобы ответить на этот вопрос, сначала нужно посмотреть, как работают сканирование и индексирование. Затем мы увидим возможные методы контроля над процессом.

Как работает сканирование?

Сканеры , иногда называемые «пауками», отвечают за поиск и изучение как можно большего количества URL-адресов. Они проверяют, что контент на самом деле там. Эти URL-адреса могут быть новыми, так как сканеры уже знают. Новые URL-адреса обнаруживаются путем изучения ранее известных страниц. После фазы исследования результаты отправляются для индексации. На английском языке страницы, которые могут сканировать поисковые системы, называются сканируемыми .

Как работает индексирование?

Индексаторы , или «индексирующие роботы» на французском языке, получают содержимое URL-адресов сканеров. Затем индексаторы пытаются разобраться в этом содержании, анализируя его (включая ссылки, если таковые имеются). Индексатор обрабатывает канонические URL-адреса и определяет полномочия каждого URL-адреса. Индексирование также определяет, должна ли страница быть проиндексирована. Страницы, которые поисковые системы могут индексировать, называются индексируемыми , английский термин взят на французском языке.

Индексаторы также отображают страницы и запускают JavaScript. Если ссылки найдены, они возвращаются сканеру.

Как повлиять на сканирование и индексирование

Вы можете контролировать сканирование и индексирование, четко указав свои предпочтения для поисковых систем. Таким образом, вы помогаете им понять, какие разделы ваших сайтов наиболее важны для вас.

В этой главе мы увидим все методы и какие методы следует использовать в какое время. Мы также разработали диаграмму, чтобы проиллюстрировать, что каждый метод может и не может делать.

Давайте начнем с объяснения некоторых понятий:

• Навигация: возможность сканирования на английском языке; могут ли поисковые системы сканировать URL?
• Индексируемый: поощряется ли поисковая система индексировать URL?
• Предотвратить дублирование контента: предотвращает ли этот метод появление Проблемы с дублированием контента ?
• Консолидация сигналов: поощряются ли поисковые системы к релевантности вашей страницы и авторитет URL по содержанию URL и ссылкам?

Прежде всего, важно понять, что обход бюджета , Бюджет сканирования - это время, которое сканеры поисковых систем проведут на вашем сайте. Ваша цель состоит в том, чтобы они проводили это время разумно, и для этого вы можете дать им инструкции.

Методы контроля сканирования и индексации

robots.txt

файл robots.txt это база данных, которая предоставляет основные правила для сканеров. Мы называем эти правила руководящими принципами. Если вы хотите запретить сканерам исследовать определенные URL-адреса, robots.txt - лучший способ сделать это.

Если сканерам не разрешено сканировать URL-адрес и сохранять его содержимое, индексатор никогда не сможет сканировать его содержимое и ссылки. Это может позволить вам избежать дублирования контента, но это также означает, что рассматриваемый URL никогда не будет сохранен. Поисковые системы также не смогут объединять сигналы релевантности и авторитета, поскольку они не знают, что находится на этой странице. Эти сигналы будут потеряны.

Окончательный чит на Crawling and Indexing

Поиск, как управлять поисковыми системами, занимает вашу голову? Экономьте время с правильными методами!

Пример использования robots.txt
Раздел администратора сайта является хорошим примером того, где можно применить файл robots.txt и запретить доступ сканерам к нему. Предположим, что раздел администратора находится по этому адресу: https://www.example.com/admin/.

Запретите сканерам доступ к этому разделу с помощью следующей команды в вашем файле robots.txt:

Disallow / admin

Вы не можете редактировать свой файл robots.txt? Применить директива noindex по роботам в разделе / ​​admin.

Важные заметки
Обратите внимание, что URL-адреса, запрещенные для сканеров, могут по-прежнему появляться в результатах поиска. Это происходит, когда URL-адреса доступны с других страниц или когда поисковые системы уже знают их, прежде чем запретить их с помощью robots.txt. Поисковые системы будут отображать сообщение, такое как это:

Файл robots.txt не может решить существующие проблемы с дублированным содержимым. Поисковые системы не забудут URL только потому, что не могут получить к нему доступ.

Добавление канонического URL-адреса или метатега роботов noindex к URL-адресу, заблокированному robots.txt, не приведет к его деиндексации. Поисковые системы никогда не узнают о вашем запросе деиндексации, потому что ваш файл robots.txt не позволяет им увидеть его.

Файл robots.txt является важным инструментом для оптимизации бюджета сканирования вашего сайта. Используя robots.txt, вы можете указать поисковым системам, какие части вашего сайта им не нужны и не должны быть изучены.

Что будет делать файл robots.txt:

• Запретить поисковым системам доступ к определенным частям вашего сайта, тем самым экономя бюджет сканирования.
• Запретить поисковым системам индексировать определенные части вашего сайта, если ни одна ссылка не ведет на него.
• Предотвратить проблемы с дублированным контентом.

Что файл robots.txt не собирается делать:

• Консолидация сигналов актуальности и авторитета.
• Удалить уже проиндексированный контент *.

* Хотя Google поддерживает директива noindex и фактически удалит содержимое, мы не рекомендуем использовать этот метод, потому что он официально не утвержден. Только Google поддерживает его, и его эффективность не гарантируется на 100%. Используйте только если вы не можете использовать правила робота или Канонический URL ,
Хотите узнать больше о robots.txt?
Взгляните на Robots.txt справочное руководство ,

Директивы роботов

Директивы роботов говорят поисковым системам, как индексировать страницы, оставляя страницы доступными для посетителей. Они часто используются, чтобы указывать движкам не индексировать определенные страницы. С точки зрения индексации, это более сильный сигнал, чем тот, который посылается по каноническому URL.

Реализация тега meta robots на некоторых страницах обычно осуществляется путем интеграции его непосредственно в источник. Для других типов документов, таких как PDF-файлы или изображения, используйте HTTP-заголовок X-robots-tag.

Пример использования директив роботов
Предположим, у вас есть десять целевых страниц для трафика Google AdWords. Вы скопировали содержимое других страниц, слегка изменив их. Эти страницы не должны быть проиндексированы, так как это приведет к дублированию контента. В этот момент вы интегрируете директиву robots с инструкцией noindex.

Важное примечание
Директивы роботов помогают вам предотвратить появление дублированного контента, но они не добавляют никакой ценности с точки зрения релевантности или авторитета URL.

В дополнение к указанию поисковым системам не индексировать страницу, оператор noindex тега meta robots также удерживает их от изучения. Вы экономите бюджет обхода.

Вопреки тому, что указано в его названии, директива nofollow robots не влияет на сканирование страницы с этим атрибутом. Однако, когда установлена ​​директива атрибута robots nofollow, сканеры поисковых систем больше не будут использовать ссылки на этой странице для сканирования других страниц. Поэтому никакие полномочия не будут переданы этим другим страницам.

Что делают директивы роботов:

• Запретить поисковым системам индексировать части вашего сайта.
• Предотвращение повторяющихся проблем с содержимым

Что директивы роботов не делают:

• Запретить поисковым системам исследовать определенные части вашего сайта и сэкономить бюджет сканирования.
• Консолидация сигналов актуальности и авторитета.

Хотите узнать больше о правилах использования роботов?
Взгляните на окончательное руководство по мета теги роботов ,

Канонический URL

Канонический URL сообщает поисковым системам каноническую версию страницы, поощряя их индексировать эту конкретную версию. Канонический URL может ссылаться на себя или на другие страницы. Если вы хотите, чтобы посетители имели доступ к разным версиям одной и той же страницы, а также к тому, что поисковые системы рассматривают их как одну версию, вам нужен канонический URL. Когда одна страница ссылается на другую с использованием канонического URL-адреса, большая часть ее релевантности и авторитета передается целевому URL-адресу.

Пример использования канонического URL
Предположим, у вас есть сайт электронной коммерции с тремя категориями продуктов. Продукт доступен с трех разных URL. Все это хорошо для посетителей, но лучше для поисковых систем сканировать и индексировать один URL. Выберите одну категорию в качестве основной и канонизируйте две другие в соответствии с первой.

Важные заметки
Обязательно примените перенаправление 301 к URL-адресам, которые бесполезны для посетителей из-за канонической версии. Это позволяет передать всю их авторитетность и актуальность канонической версии. Это также поможет вам заставить другие сайты перенаправлять своих посетителей на каноническую версию.

Канонический URL - это скорее руководство, чем директива. Поисковые системы могут решить игнорировать это.

Применение канонического URL-адреса не сохранит бюджет сканирования, поскольку не мешает поисковым системам сканировать страницы. Это предотвращает отображение этих страниц в случае поискового запроса, поскольку они связаны с канонической версией URL.

Что делает канонический URL:

• Запретить поисковым системам индексировать части вашего сайта.
• Предотвратить проблемы с дублированным контентом.
• Консолидировать большинство сигналов актуальности и авторитета.

Что канонический URL не делает:

• Запретить поисковым системам исследовать определенные части вашего сайта и тем самым сэкономить бюджетные обходы.

Хотите узнать больше о канонических URL?
Взгляните на канонический справочник URL ,

Атрибут Hreflang

Атрибут rel = "alternate" hreflang = "x", или кратко атрибут hreflang, используется для связи поисковых систем с языком, используемым для вашего контента, и для какого географического региона он предназначен. Если вы ориентируетесь на несколько регионов с одним или похожим контентом, атрибут hreflang для вас. Это позволяет вам быть на каждом рынке с одинаковым контентом и избегать дублирования контента.

Тем не менее, это не предотвращает дублирование контента. Представление абсолютно одинакового контента в Соединенном Королевстве и Соединенных Штатах можно рассматривать как дублирующий контент. Помимо дублированного контента, вы должны убедиться, что ваш контент подходит для вашей аудитории. Убедитесь, что ваш контент кажется ему знакомым. Для этого рекомендуется внести некоторые изменения в тексты и изображения, чтобы сопоставить их с Соединенным Королевством или Соединенными Штатами.

Пример использования атрибута hreflang
Вы ориентируетесь на несколько английских рынков, используя поддомен для каждого рынка. Содержание одинаково для каждого субдомена:

• www.example.com для рынка США (США)
• ca.example.com для канадского рынка
• uk.example.com для рынка Великобритании
• au.example.com для австралийского рынка

Для каждого рынка вы хотите, чтобы на вас ссылались с одинаковым контентом и избегали дублирования контента. Это где hreflang приходит.

Что делает атрибут hreflang:

• Ориентируйте несколько разных аудиторий с одним контентом.
• Избегайте дублирования проблем с контентом.

Что не делает атрибут hreflang:

• Запретить поисковым системам исследовать определенные части вашего сайта и, таким образом, сэкономить бюджет сканирования.
• Запретить поисковым системам индексировать части вашего сайта.
• Консолидация сигналов актуальности и авторитета.

Хотите узнать больше об атрибуте hreflang?
Взгляните на полное руководство по атрибуту hreflang ,

Атрибуты пагинации

Атрибуты rel = "prev" и rel = "next" , или сокращенные атрибуты пагинации , используются для того, чтобы сообщать поисковым системам об отношениях внутри ряда страниц. Для серий похожих страниц, таких как страницы разбитых на страницы архивов блога или страницы для разных категорий продукта, они также разбиты на страницы, лучше использовать атрибут нумерации страниц. Поисковые системы поймут, что страницы очень похожи, что позволит избежать проблем с дублированием контента.

В большинстве случаев поисковые системы не будут ранжировать страницы, кроме первой страницы в серии.

Что делают атрибуты пагинации:

• Избегайте дублирования проблем с контентом.
• Консолидация сигналов актуальности и авторитета.

Какие атрибуты пагинации не будут делать:

• Запретить поисковым системам исследовать определенные части вашего сайта и тем самым сэкономить бюджетное сканирование.
• Запретить поисковым системам индексировать части вашего сайта.

Хотите узнать больше об атрибутах нумерации страниц?
Взгляните на полное руководство по нумерации страниц ,

Мобильный атрибут

Мобильный атрибут rel = "alternate" или, для краткости, мобильный атрибут , сообщает поисковым системам отношения между компьютерной и мобильной версиями сайта. Это помогает поисковым системам распознавать, какой сайт подходит для какого устройства, и позволяет избежать проблем с дублированием контента во время процесса.

Что делает мобильный атрибут:

• Избегайте дублирования проблем с контентом.
• Консолидация сигналов актуальности и авторитета.

Что мобильный атрибут не делает:

• Запретить поисковым системам исследовать определенные части вашего сайта и сэкономить бюджет сканирования.
• Запретить поисковым системам индексировать части вашего сайта.

Хотите узнать больше о мобильном атрибуте?
Взгляните на полное руководство по мобильному атрибуту ,

Если вы не можете быстро внести изменения в свой сайт, вы можете изменить управление настройками в консоли поиска Google и в Bing для веб-мастеров. Управление параметрами определяет, как поисковые системы взаимодействуют с URL-адресами, содержащими параметр. При этом вы можете указать Google и Bing не изучать и / или не индексировать определенные URL-адреса.

Чтобы изменить управление параметрами, вам нужны URL-адреса, идентифицируемые по формату. Управление параметрами следует использовать только в определенных случаях, например, для сортировки, фильтрации, перевода и сохранения данных.

Важное примечание
Имейте в виду, что настройка всего этого для Google и Bing не повлияет на то, как другие поисковые системы будут исследовать ваш сайт.

Что делает управление настройками:

• Запретить поисковым системам исследовать части вашего сайта, экономя бюджет сканирования.
• Запретить поисковым системам индексировать части вашего сайта.
• Избегайте дублирования проблем с контентом.
• Консолидация сигналов актуальности и авторитета.

Что управление настройками не делает:

• Позволяет настроить сканирование и индексацию для отдельных URL-адресов.

HTTP-аутентификация вынуждает пользователей или компьютеры подключаться для доступа к сайту или его части.

Без имени пользователя и пароля вы (или робот) не сможете выйти за пределы экрана входа и получить доступ ко всему. HTTP-аутентификация - отличный способ предотвратить попадание нежелательных посетителей, будь то люди или поисковые системы, например, в тестовую среду. Google рекомендует использовать HTTP-аутентификацию для предотвращения доступа сканеров к таким средам.

Если вы не хотите, чтобы частный или конфиденциальный контент появлялся в результатах поиска Google, самый простой и эффективный способ заблокировать частные URL-адреса - это сохранить их в защищенном паролем каталоге. перейти на сервер вашего сайта. Робот Googlebot и все остальные сканеры не могут получить доступ к содержимому в каталогах, защищенных паролем.

Что делает аутентификация HTTP:

• Запретить поисковым системам исследовать части вашего сайта, экономя бюджет сканирования.
• Запретить поисковым системам индексировать части вашего сайта.
• Избегайте дублирования проблем с контентом.

Что не делает аутентификация HTTP:

• Консолидация сигналов актуальности и авторитета.

Часто задаваемые вопросы о сканировании и индексировании

1. Часто ли Google ищет мой сайт?
2. Могу ли я замедлить сканеры, когда они исследуют мой сайт?
3. Как я могу запретить поисковым системам сканировать сайт или страницу?
4. Что означает индексация сайта?
5. Может ли мой сайт быть проиндексирован поисковыми системами?
6. Часто ли Google индексирует мой сайт?
7. Сколько времени потребуется Google для индексации моего сайта?
8. Как я могу запретить поисковым системам индексировать сайт или страницу?

Конечная шпаргалка по сканированию и индексированию

Быстро найти правильный метод для решения проблем сканирования и индексации!

Исследуйте как поисковые системы: поставьте себя на их место

Как сканеры поисковых систем видят ваши страницы и что ваши страницы приносят им? Поставьте себя на их место с помощью инструмента «Исследовать и просматривать».
Функция «Исследовать как Google» является наиболее известным примером. Он расположен в Google Search Console и позволяет вам создать URL на вашем сайте, и Google сообщит вам, что его сканеры видят на этом URL и что он отображает. Вы можете сделать это для компьютеров и мобильных версий. Ниже вы можете увидеть, как это выглядит:

Это очень полезно для проверки правильности ответа URL-адресов, а также для принудительной индексации URL-адреса («Запрос на индексирование»). В считанные секунды ваш URL сканируется и индексируется. Это не означает, что его содержимое немедленно обрабатывается и сохраняется, но позволяет ускорить процесс сканирования и индексации.

Другие ситуации, когда функция Explorer, такая как Google, оказывается удобной

Исследование как Google полезно не только для ускорения процесса сканирования и индексации отдельного URL-адреса, эта функция также позволяет:

1. Ускорьте открытие новых разделов вашего сайта
   Изучите URL, который ссылается на новые разделы, и нажмите «Индекс запроса» с опцией «Изучить этот URL и его прямые ссылки».
2. Получите аудит пользовательского опыта на мобильной версии:
   Исследуйте URL как «Мобильный телефон: смартфон».
3. Убедитесь, что перенаправления -301 работают правильно.
   Скопируйте URL и проверьте, что отвечает заголовок.

Примечания:

• Третий случай еще проще выполнить для URL-адресов, сгруппированных с помощью ContentKing.
• Google позволяет запрашивать индексацию 500 URL-адресов в месяц.
• Google позволяет вам индексировать только 10 URL-адресов в месяц, если вы запрашиваете также обход всех связанных URL-адресов.
• Bing предлагает аналогичный инструмент под названием " Исследуй как Бингбот ».

1. Часто ли Google ищет мой сайт?

Консоль поиска Google делится с вами своими данными сканирования. Чтобы получить к нему доступ:

• 1. Войдите в консоль поиска Google и выберите сайт.
  2. Нажмите «Исследование»> «Статистика сканирования», и вы увидите, как часто Google выполняет поиск на вашем сайте.

Если вы немного знаете об этом, вы можете узнать, часто ли Google ищет ваш сайт, анализируя файлы журнала вашего сайта.

Интересно отметить, что Google определяет частоту посещений вашего сайта на основе обход бюджета размещены на вашем сайте.

2. Могу ли я замедлить сканеры, когда они исследуют мой сайт?

Хотя это не рекомендуется для Google и Bing, вы можете использовать директиву robots.txt Кроу задержки , Мы не рекомендуем это для Google и Bing, потому что сканеры достаточно умны, чтобы знать, когда ваш сайт не в лучшей форме, и они вернутся позже, чтобы проверить еще раз.

Есть несколько способов запретить поисковым системам исследовать определенные части вашего сайта или только несколько страниц:

• Robots.txt: может использоваться для предотвращения сканирования поисковыми системами сайта, определенных частей или отдельных страниц.
• Управление параметрами. Может использоваться для предотвращения сканирования URL-адресов, содержащего определенный параметр.
• HTTP-аутентификация: может использоваться для предотвращения просмотра всего сайта, его частей или отдельных страниц.

4. Что означает индексация сайта?

Индексирование - это процесс, с помощью которого оператор поисковой системы пытается прояснить смысл сайта, чтобы затем его можно было найти через поисковые системы.

5. Может ли мой сайт быть проиндексирован поисковыми системами?

Лучший способ ответить на этот вопрос - создать учетную запись на ContentKing, чтобы оценить, насколько хорошо ваш сайт может быть проиндексирован поисковыми системами. Как вы прочитали выше, существует множество способов повлиять на то, как поисковые системы индексируют ваш сайт.

6. Часто ли Google индексирует мой сайт?

Сколько раз Google исследует ваш сайт. Сканеры пересылают все найденное индексаторам, которые индексируют себя на ваших сайтах.

7. Сколько времени понадобится Google, чтобы проиндексировать мой сайт?

Есть несколько ответов на этот вопрос, потому что это зависит от продвижения только что созданного сайта. Содействие этому ускоряет процесс сканирования и индексации. Успешно, небольшой сайт может быть проиндексирован за один час. Кроме того, иногда может потребоваться месяцы, чтобы полностью проиндексировать новый сайт.

Обратите внимание, что ссылки на ваш сайт в поисковых системах не означают, что ваша страница будет отображаться в числе первых результатов. Достижение вершины корзины занимает много, намного больше времени.

Можно запретить поисковым системам индексировать сайт или страницу несколькими способами:

• Тэг meta robots noindex: это очень сильный сигнал, отправляемый поисковым системам, так что они не индексируют страницу. Он не передает сигналы релевантности или авторитета другим страницам.
• Канонический URL: это сигнал умеренной силы, чтобы указать поисковым системам, какую страницу индексировать, а также приписать сигналы релевантности и авторитета.
• Аутентификация HTTP: это только предотвратит исследование и индексацию новых страниц с точки зрения SEO. Тем не менее, в целом это остается лучшим способом предотвратить доступ поисковых систем или нежелательных посетителей к тестовой среде.
• Robots.txt: может использоваться для предотвращения сканирования или индексации новых страниц.
• Управление параметрами. Может использоваться для предотвращения сканирования или индексации URL-адресов, содержащих определенный параметр.

Похожие

Комментарии