Настройце файл robots.txt для WordPress: Кіраўніцтва

1. CROWLER / SPIDER: ТЭТЫ (S) Вядомыя!
2. Дзе я ўстаўляю файл ROBOTS.TXT, калі я выкарыстоўваю слова WORDPRESS?
3. Наладзьце файл ROBOTS.TXT ДЛЯ WORDPRESS

Вы часта чулі пра файл robots.txt, калі вы маеце справу з WordPress, але што менавіта гэта? Пачнем з тэхнічнага апісання Вікіпедыі:

«Пратакол выключэння робатаў паказвае, што ў сетцы Інтэрнэту і ў большай частцы Інтэрнэту правілы, якія выкарыстоўваюць сканеры для прымянення абмежаванняў аналізу на старонках сайта. Яны змяшчаюцца ў файле robots.txt , створаным у чэрвені 1994 года з згоды членаў спісу рассылкі робатаў. Зараз няма ніякага рэальнага стандарту для пратаколу робатаў. "

На практыцы гэты файл змяшчае інструкцыі, якія пошукавыя сістэмы павінны прытрымлівацца пры сканаванні старонак сайта.

Першы раз, калі я адчуваў неабходнасць наладкі файла robots.txt, быў падчас праверкі Google Webmaster Tool , Я знайшоў так шмат памылак 404 . Суразмоўцы не маглі патрапіць у шмат спасылак, таму што я цалкам выдаліў іх з сайта.

CROWLER / SPIDER: ТЭТЫ (S) Вядомыя!

Але што ж пасярэдзіне? Гусенічны - гэта праграмнае забеспячэнне, якое аналізуе змесціва нашай базы дадзеных ад імя пошукавай сістэмы. На практыцы пошукавая сістэма прадастаўляе спісу адрасоў URL, які неабходна прааналізаваць, каб пастаянна абнаўляць спіс гіперспасылак.

Пры настройцы файла robots.txt усё, што вам трэба зрабіць, гэта даць правілы сканавання (таксама званыя павукамі ), каб прытрымлівацца і паказваць, якія старонкі трэба прааналізаваць і адсканаваць, а якія - не.

Дзе я ўстаўляю файл ROBOTS.TXT, калі я выкарыстоўваю слова WORDPRESS?

Дастаткова просты нататнік ці іншы тэкставы рэдактар. Важна захаваць файл з пашырэннем .TXT і назваць яго сапраўды robots.txt

Пасля таго як вы стварылі файл, проста загрузіце яго ў корань нашага сайта, і вы скончыце!

• Каб быць дакладней, увайдзіце на сайт праз FTP-праграму (я выкарыстоўваю яго FileZilla і я настойліва рэкамендую яго), загрузіць файл robots.txt у асноўную тэчку, гэта значыць, якая змяшчае тры асноўныя тэчкі WordPress (wp-content / wp-admin / wp-includes) і іншыя файлы тыпу index.php / wp. -config.php і г.д.

Тут трэба дакладна загрузіць файл robots.txt. У гэтым прыкладзе я выкарыстаў FileZilla.

Наладзьце файл ROBOTS.TXT ДЛЯ WORDPRESS

[НЕТ] Будзьце асцярожныя, таму што калі вы ўводзіце " / " у забаронены заблакаваць індэксаванне ўтрымання:

Карыстальнік: * Забараніць: /

[ДА] Так як я ўпэўнены, што вы хацелі б мець найлепшую і гатовую найлепшую мадэль файла robots.txt , гэта зроблена ў адпаведнасці з рэкамендацыямі: CodePlex ,

Карыстальнік: * Дазволіць: / Disallow: / cgi-bin Disallow: / wp-admin Disallow: / wp-includes Disallow: / wp-content Disallow: / e / Disallow: / show-error- * Disallow: / xmlrpc. php Disallow: / trackback / Disallow: / comment-page- Дазволіць: / wp-content / uploads / User-agent: Mediapartners-Google Allow: / User-agent: Adsbot-Google Allow: / User-agent: Googlebot-Image Allow : / User-agent: Googlebot-Mobile Allow: / Карта сайта: http: // www.mysite.com/sitemap.xml (ТУТ, калі ласка, увядзіце сайт вашага сайта)

Ваш першы файл робатаў, з другога боку, павінен быў быць настроены так, як паказана ніжэй:

Карыстальнік: * Забараніць:

Відавочна, што нішто не перашкаджае табе стварыць файл robots.txt згодна з вашым патрэбам! Калі вы хочаце ўбачыць іншыя сайты так, як яны ўсталявалі, у канцы URL напішыце "/robots.txt" (без двукоссі).

Напрыклад пошук www.facebook.it/robots.txt і паглядзіце, у якой канфігурацыі выкарыстоўваецца партал Mark Zuckerberg. Я лічу, што Google, у любым выпадку, аддае перавагу поўны доступ да сайта , калі вы кіруеце кансолем Інструмент вэб-майстра і ісці па шляху:

• Канфігурацыя сайта
• гусенічны
• Стварэнне файла Robots.txt

Вам будзе прапанавана ўсталяваць файл такім чынам:

Карыстальнік-агент: * Дазволіць: /

Цяпер вам трэба проста паэксперыментаваць і наладзіць файл robots.txt, як вы лічыце патрэбным на вашым сайце. Каб праверыць вынікі, пастаянна правярайце дадзеныя, паказаныя на вэб-сайце "Google Webmaster Tools" і змяняйце іх у адпаведнасці з вашымі патрэбамі.

Джорджа Перылё

Адзнака: 4.7 / 5. З 14 галасоў.

Калі ласка пачакайце ...