Як створити robots.txt для WordPress-сайту?
- Спосіб 1. Ручне додавання
- Приклад коректного robots.txt
- Спосіб 2. Плагін Yoast SEO
- Спосіб 3. Плагін Clearfy Pro
Файл robots.txt призначений для пошукових систем. Він вказує пошуковому роботу, що на сайті можна виводити в пошуку, а що ні. За замовчуванням копія WordPress не має robots.txt, тому для його створення необхідно задіяти сторонні інструменти або додавати його вручну.
Найпростіший варіант - скористатися плагіном Clearfy Pro, про який ми писали в одному з минулих матеріалів .
Спосіб 1. Ручне додавання
Якщо Ви не довіряєте стороннім рішенням і хочете все зробити самому, то найбільш підходящий для цього варіант - створити файл в будь-якому текстовому редакторі і скопіювати його на сайт по FTP протоколом. Для передачі даних на хостинг можна скористатися досить зручним FTP-клієнт FileZilla. Відзначимо, що файл robots.txt повинен бути скопійований в кореневій каталог вашого сайту (поряд з файлами wp-config.php, wp-settings.php).
Після того, як файл буде створений і скопійований на хостинг, Ви, перейшовши за адресою site.ru/robots.txt, зможете подивитися його вміст.
Приклад коректного robots.txt
User-agent: * Disallow: / wp-admin Disallow: / wp-includes Disallow: / wp-content / plugins Disallow: / wp-content / cache Disallow: / wp-json / Disallow: /xmlrpc.php Disallow: / readme .html Disallow: / *? Disallow: /? S = Allow: /*.css Allow: /*.js Host: site.ru
** Замість site.ru слід вказати назву вашого сайту
Спосіб 2. Плагін Yoast SEO
Плагін Yoast SEO дозволяє автоматично створювати robots.txt, просто вставивши в нього необхідні дані. Отже, встановивши і активувавши плагін, необхідно в адмін-панелі вибрати пункт SEO -> Консоль. Далі, на вкладці Можливості, перейти в розділ Додаткові настройки сторінки, пересунути повзунок в стан Включено і зберегти зміни, після чого в адмін-панелі з'являться кілька додаткових пунктів. Далі потрібно перейти за пунктом SEO -> Інструменти, де вибрати Редактор файлів. На сторінці редактора необхідно натиснути на кнопку Створити файл robots.txt, в редакторі вставити вищеописаний код і натиснути Зберегти зміни в robots.txt.
Спосіб 3. Плагін Clearfy Pro
Плагін Clearfy Pro, про який ми писали в одному з наших матеріалів , Дозволяє створити robots.txt без будь-якого втручання користувача.
Єдине, що залишається зробити - це в адмін-панелі перейти Clearfy Pro -> Основні, на вкладці SEO пересунути вправо повзунок навпроти пункту Створити правильний robots.txt і натиснути кнопку Зберегти зміни.
Disallow: /?