IDA Chile Blog | Стратегия успеха вашего бизнеса - Robots.txt и его влияние на SEO стратегии | МАР Чили

1. Типы файлов, которые вы можете исключить с помощью robots.txt
2. Как создать файл robots.txt
3. Синтаксис Robots.txt
4. Примеры использования
5. Загрузите файл robots.txt

Поисковая оптимизация

Мы объясняем, что такое файлы robots.txt, для чего они используются и как они могут повлиять на вашу стратегию позиционирования.

Основная задача стратегии позиционирования - обеспечить, чтобы поисковики могли правильно отслеживать и индексировать контент.

Для этого существуют разные способы общения с индексирующими пауками. На уровне содержания SEO методы как использование этикеток, атрибуты и ключевые слова , помогите направить роботов на страницах. На уровне веб-сайта или цифрового проекта sitemap.xml Они предоставляют руководство по поиску страниц, которые можно отследить.

Этот последний файл может быть дополнен файлом robots.txt, также называемым протоколом исключения роботов . С помощью этого документа мы сообщаем индексирующим паукам о содержимом, которое мы не хотим индексировать .

Почему вы не хотите, чтобы некоторые страницы не появлялись в результатах поиска? В каждом проекте есть разделы внутреннего управления, личной информации или содержимого резервной копии, которые не предназначены для конечных пользователей. Например, обычной практикой является включение URL-адреса диспетчера содержимого в файл robots.txt.

Типы файлов, которые вы можете исключить с помощью robots.txt

Важно, чтобы вы знали, как работают эти файлы, чтобы исключить правильные страницы и не важный контент.

Это типы файлов, которые вы можете исключить из индексации:

• Веб-страницы: позволяет контролировать трафик. Основная функция состоит в том, чтобы не допустить перегрузки сервера трекером и отвлекать внимание от контента, который не предназначен для широкой публики.
• Изображения: предотвращает появление файлов изображений в результатах поиска. Его можно использовать, чтобы изображения файлов не были проиндексированы.
• Другие ресурсы: блокирует файлы как скрипты или элементы стиля, которые не важны для пользователей.

Как создать файл robots.txt

Чтобы настроить robots.txt, вам нужно понять его синтаксис, создать файл и получить доступ к корню домена, чтобы загрузить его.

Синтаксис Robots.txt

Стандарт исключения роботов в основном использует три элемента:

• Пользователь-агент: это имя робота поисковой системы, которому вы хотите дать инструкции. Google, например, использует разных роботов для отслеживания изображений и страниц.
• Disallow: описывает URL-адреса, к которым робот не должен иметь доступ.
• Разрешить: Указывает, что доступ к подкаталогу, расположенному в заблокированном главном каталоге.

Чтобы указать, что файл относится ко всем роботам или пользовательским агентам, необходимо использовать звездочку (*), а косая черта (/) эквивалентна включению всех URL-адресов. Используя эти инструкции, вы можете доставить необходимые инструкции.

Примеры использования

Если вы хотите разрешить всем роботам просматривать все содержимое, файл будет выглядеть следующим образом:

Пользователь-агент: *
Disallow:

Чтобы запретить доступ ко всем роботам и всем URL-адресам, вы должны использовать:

Пользователь-агент: *
Disallow: /

Чтобы заблокировать доступ всех роботов к определенным URL-адресам, они должны быть указаны следующим образом:

Пользователь-агент: *
Disallow: / images /
Disallow: / частный /

Загрузите файл robots.txt

После того, как эти определения установлены, необходимо сделать следующее:

• Сохраните код в виде текстового файла (.txt) с именем «роботы».
• Найдите его в каталоге самого высокого уровня сайта (http://www.example.com/robots.txt)

Когда вы закончите, вы можете использовать Google robots.txt тестер проверить, что все в порядке.

Хотя это правда, что Google и основные поисковые системы уважают эти файлы, важно понимать, что они являются лишь указаниями. То есть, возможно, что некоторые роботы не будут уважать файл и индексировать его содержимое в любом случае.

Поэтому, если у вас есть конфиденциальная информация, которую не следует показывать широкой публике, вы всегда должны защищать ее с помощью дополнительных методов , таких как использование паролей.

Я управляю контентом для конкретных сообществ, стимулируя поток информации и взаимодействие с членами каждого сообщества. Я заинтересован в изучении возможностей, создаваемых онлайн-взаимодействием между компаниями и их клиентами.

Похожие

Комментарии