Налаштуйте файл robots.txt для WordPress: The Guide

1. ВОЛОСНИК / СПАЙДЕР: ЦЕ (Я) ВІДОМІ!
2. ДЕ ВСТАНОВИТИ РОБОТА.ТХТ ФАЙЛ, ЯК Я ВИКОРИСТОВУЄТЬСЯ WORDPRESS?
3. ВСТАНОВИТИ ФОРМУВАННЯ ROBOTS.TXT ДЛЯ WORDPRESS

Ви часто чули про файл robots.txt, якщо ви маєте справу з WordPress, але що це таке? Почнемо з технічного опису, запропонованого у Вікіпедії:

Протокол виключення робота в жаргоні Інтернету і, як правило, вказує на правила, які використовують сканери для застосування обмежень аналізу на сторінках веб-сайту. Вони містяться у файлі robots.txt , створеному в червні 1994 року за згодою членів списку розсилки роботів. На даний момент реального стандарту для протоколу роботів немає. "

На практиці цей файл містить інструкції, які пошукові системи повинні виконувати при скануванні сторінок веб-сайту.

Коли я вперше відчув необхідність налаштувати файл robots.txt, це було під час перевірки Інструмент для веб-майстрів Google , Я знайшов так багато помилок 404 . Вона не змогла досягти багатьох зв'язків, тому що я повністю видалив їх з сайту.

ВОЛОСНИК / СПАЙДЕР: ЦЕ (Я) ВІДОМІ!

Але що таке воронери? Сканер - це програмне забезпечення, яке аналізує вміст нашої бази даних від імені пошукової системи. На практиці пошукова система надає списку URL-адрес, які необхідно проаналізувати, щоб постійно оновлювати список наших гіперпосилань.

При налаштуванні файлу robots.txt все, що ви робите, надайте сканерам (також називаються павуками ) правила, які слід слідувати, і вкажіть, які сторінки повинні бути проаналізовані та скановані, а які - не повинні.

ДЕ ВСТАНОВИТИ РОБОТА.ТХТ ФАЙЛ, ЯК Я ВИКОРИСТОВУЄТЬСЯ WORDPRESS?

Достатньо простого блокнота або іншого текстового редактора. Важливо зберегти файл з розширенням .TXT і називати його саме robots.txt

Після того, як ви створили файл, просто завантажте його до кореня нашого сайту, і ви готові!

• Щоб бути більш точним, введіть свій сайт через FTP-програму (я її використовую FileZilla і я настійно рекомендую), завантажте файл robots.txt в основну папку, тобто той, що містить як три головні папки WordPress (wp-content / wp-admin / wp-includes), так і інші файли типу index.php / wp -config.php і т.д.

Тут потрібно точно завантажити файл robots.txt. У цьому прикладі я використав FileZilla.

ВСТАНОВИТИ ФОРМУВАННЯ ROBOTS.TXT ДЛЯ WORDPRESS

[NO] Будьте обережні, тому що якщо ви введете " / " у disallow, ви блокуєте індексацію всього вмісту:

Агент користувача: * Disallow: /

[ТАК] Оскільки я впевнений, що ви хотіли б мати найкращу модель файлу robots.txt, яка вже є приємною та готовою , ось вона зроблена відповідно до вказівок CodePlex ,

Агент користувача: * Дозволити: / Disallow: / cgi-bin Disallow: / wp-admin Заборонити: / wp-includes Заборонити: / wp-content Заборонити: / e / Disallow: / show-error- * Disallow: / xmlrpc. php Disallow: / trackback / Disallow: / comment-page- Дозволити: / wp-content / uploads / Користувальницький агент: Mediapartners-Google Дозволити: / User-agent: Adsbot-Google Allow: / User-agent: Googlebot-Image Allow : / User-agent: Googlebot-Mobile Allow: / Sitemap: http: // www.mysite.com/sitemap.xml (ТУТ ВИКОНУЙТЕ КАРТА САЙТУ ВАШОГО САЙТУ)

З іншого боку, ваш перший файл роботів повинен бути налаштований так, як наведений нижче приклад:

Агент користувача: * Disallow:

Очевидно, ніщо не заважає вам створювати файл robots.txt, налаштований відповідно до ваших потреб! Якщо ви хочете побачити інші сайти, як вони встановили їх, наприкінці URL-адреси напишіть "/robots.txt" (без лапок).

Наприклад, пошук www.facebook.it/robots.txt і подивитися, яка конфігурація використовує портал Марка Цукерберга. Я вважаю, що Google, у будь-якому випадку, воліє отримувати повний доступ до сайту , адже якщо ви керуєте консоллю Інструмент веб-майстра і дотримуйтесь шляху:

• Конфігурація сайту
• гусеничний
• Створити файл Robots.txt

Вам буде запропоновано встановити файл таким чином:

User-agent: * Дозволити: /

Тепер потрібно просто експериментувати та налаштувати файл robots.txt, як ви вважаєте за потрібне на вашому веб-сайті. Щоб перевірити результати, постійно перевіряйте дані, що відображаються на веб- сайті "Інструменти для веб-майстрів Google", і змінюйте їх відповідно до своїх потреб.

Автор: Джорджіо Перілло

Рейтинг: 4.7 / 5. Від 14 голосів.

Зачекайте ...