Підтримка користувачів
Файл «robots.txt» - це текстовий файл, який знаходиться в кореневій директорії сайту компанії. У нього записуються спеціальні інструкції (вказівки) для пошукових роботів. Ці інструкції можуть забороняти до індексації деякі розділи або сторінки на сайті.
Всі пошукові роботи при заході на сайт в першу чергу шукають файл robots.txt.
Файл «robots.txt» - ідентичний для всіх сайтів, створених на платформі порталу, і вже знаходиться в кореневій директорії вашого сайту. Для поліпшення індексації пошуковими системами, в файлі «robots.txt» з аблокіровани тільки дублюються сторінки, наприклад список одних і тих же товарів у вигляді галереї і у вигляді списку:
- http://company.com/product_list - дозволена
- http://company.com/product_list?view_as=list - заборонена
За замовчуванням, в файлі «robots.txt» вашого сайту закриті від індексації не інформаційні сторінки, такі як сторінка додавання товару в кошик, замовлення товару, створення відкликання, всі сторінки особистого кабінету і так далі. Відкриття для індексації таких сторінок тільки зашкодить вашому сайту, так як на них немає корисної інформації ні для клієнтів, ні для пошукових систем.
Всі інші сторінки дозволені до індексації.
Для компаній, що підключили зовнішній домен виду «Company.com», є можливість вносити зміни в файл «robots.txt».
Увага! Редагування «robots.txt» може привести до неправильної індексації вашого сайту пошуковими системами. Перед внесенням змін до файл проконсультуйтеся попередньо у SEO-фахівця.
Сторінка редагування файлу «robots.txt» знаходиться в розділі « Кабінет компанії> Просування сайту> SEO> Редагування robots.txt », Доступному для компаній з підключеним зовнішнім доменом. Більш детально про підключення зовнішнього домену в документі « Адреса сайту компанії (домен компанії) ».
Основні помилки при редагуванні файлу:
- Перейменування або видалення інструкцій:
User-Agent: YadirectBot
Disallow:
User-Agent: YandexDirect
Disallow:
- У директиві Host абревіатура протоколу передачі гіпертексту вказана з використанням http: // і закриває слешем /
Host: http://company.com/ - неправильно
Host: company.com - правильно
- Видалення інструкції «Host: company.com»
- Використання інструкції Allow не завжди коректно сприймається пошуковими системами і може погіршити індексацію вашого сайту.
- Видалення інструкції «Sitemap: http://company.com/sitemap.xml»
Примітка. Карта сайту «sitemap.xml» генерується і оновлюється системою порталу автоматично.
Нижче представлений приклад файлу «robots.txt» знаходиться в кореневій директорії сайту компанії на порталі:
Приклад файлу «robots.txt»
Для повернення до початкових установок файлу «robots.txt», натисніть на кнопку «Налаштування за замовчуванням» і збережіть зміни.
Налаштування за замовчуванням
Більш детальна інструкція по формуванню файлу «robots.txt» з сайтів пошукових систем:
Com/product_list?