Як боротися з помилками сканування в консолі пошуку Google (Інструменти для веб-майстрів)

1. Зміст
2. Не панікуйте!
3. По-перше, позначте всі помилки сканування як виправлені
4. Перевіряйте звіт про помилки сканування раз на тиждень
5. Класична помилка 404 сканування
6. 404 помилки, викликані помилковими посиланнями з інших веб-сайтів
7. 404 помилки, викликані помилковими внутрішніми посиланнями або записами мапи сайту
8. 404 помилки, спричинені скануванням JavaScript у JavaScript та його перевантаженням
9. Помилки Mystery 404
10. Що таке помилки «Soft 404»?
11. Що робити з 500 помилками сервера?
12. Інші помилки сканування: 400, 503 тощо
13. Список усіх помилок сканування, з якими я зіткнувся в "реальному житті"
14. Пікова помилка сканування після міграції веб-сайту
15. Резюме

Це сталося з вами? Ви перевіряєте звіт "Помилки сканування" в Пошуковій консолі Google (раніше відомий як Інструменти для веб-майстрів), і ви бачите стільки помилок сканування, що не знаєте, з чого почати. Навантаження 404s, 500s, "Soft 404s", 400s, та багато іншого ... Ось як я маю справу з великою кількістю помилок сканування.

Примітка: Цей посібник вперше був опублікований на rebelytics.com в 2015 році і з тих пір кілька разів оновлювався і переходив до цього блогу.

Якщо ви не знайдете вирішення проблеми в цій статті, не соромтеся залишити мені коментар внизу цієї сторінки . Зазвичай я відповідаю протягом декількох днів.

Зміст

Ось огляд того, що ви знайдете в цій статті:

Тож давайте почнемо. Поперше:

Не панікуйте!

Помилки сканування - це те, що ви звичайно не можете уникнути, і вони не обов'язково негайно негативно впливають на ефективність вашого SEO. Тим не менш, вони є проблемою, яку потрібно вирішити. Мала кількість помилок сканування в консолі пошуку - це позитивний сигнал для Google, оскільки він відображає хороше загальне здоров'я веб-сайту. Крім того, якщо бот Google виявить менше помилок сканування на вашій сторінці, користувачі з меншою ймовірністю побачать помилки веб-сайту та сервера.

По-перше, позначте всі помилки сканування як виправлені

Це може здатися спочатку глупою порадою, але це дійсно допоможе вам вирішити ваші помилки сканування більш структурованим способом. Коли ви вперше подивіться на звіт про помилки сканування, ви можете побачити сотні й тисячі помилок сканування з тих пір, коли. Вам буде дуже важко знайти свій шлях через ці довгі списки помилок.

Чи покращує цей знімок екрану? Гадаю, ви краще, ніж цей веб-майстер

Мій підхід полягає в тому, щоб позначити все як фіксований, а потім починати з записку: нерелевантні помилки сканування не з'являться знову, а ті, які дійсно потребують виправлення, скоро з'являться у вашому звіті. Отже, після того, як ви очистили свій звіт, ось як продовжити:

Перевіряйте звіт про помилки сканування раз на тиждень

Вибирайте фіксований день щотижня і переходьте до звіту про помилки сканування. Тепер ви знайдете керовану кількість помилок сканування. Тому що вони не були там тиждень раніше, ви будете знати, що вони нещодавно зіткнулися з ботом Google. Нижче описано, як виконувати те, що ви знайдете у звіті про помилки сканування раз на тиждень:

Класична помилка 404 сканування

Можливо, це найпоширеніша помилка сканування на веб-сайтах, а також найпростіше виправити. Для кожної помилки 404, з якою зіштовхується бот Google, Google дає змогу дізнатися, звідки вона пов'язана: інший веб-сайт, інша URL-адреса на вашому веб-сайті або ваші мапи сайту. Просто натисніть помилку сканування у звіті, і відкриється лайтбокс:

Зверніть увагу, що інформація на вкладці "Зв'язані з" не завжди є актуальною. Він може містити URL-адреси, які більше не існують, або які більше не посилаються на URL-адресу помилки. Це пояснюється тим, що на цій вкладці Google дає нам змогу дізнатися, де було знайдено URL-адресу помилки, а не там, де вона наразі пов'язана (як це може називати назва).

Чи знаєте ви, що ви можете завантажити звіт зі всіма вашими помилками сканування та звідки вони пов'язані? Таким чином, не потрібно вручну перевіряти кожну помилку сканування. Перевіряти це посилання дослідника Google API. Більшість полів вже заповнені, тому потрібно лише додати URL-адресу веб-сайту (точну URL-адресу властивості консолі пошуку, з якою ви маєте справу) і натисніть "Авторизувати та виконати". Повідомте мене, якщо у вас виникнуть питання щодо цього!

Тепер давайте подивимося, що ви можете зробити про різні типи 404 помилок.

404 помилки, викликані помилковими посиланнями з інших веб-сайтів

Якщо помилковий URL пов'язаний з іншим веб-сайтом, слід просто здійснити перенаправлення 301 із помилкової URL-адреси до правильної мети. Можливо, ви зможете звернутися до веб-майстра сторінки, що посилається, щоб попросити коригування, але в більшості випадків це не варто.

404 помилки, викликані помилковими внутрішніми посиланнями або записами мапи сайту

Якщо помилковий URL, який спричинив помилку 404 для бота Google, пов'язаний з однієї з ваших власних сторінок або з карти сайту, ви повинні виправити посилання або запис мапи сайту. У цьому випадку також є гарною ідеєю 301 перенаправити URL-адресу 404 до правильного пункту призначення, щоб зникнути з індексу Google і передати потужність посилання, яку вона могла б мати.

404 помилки, спричинені скануванням JavaScript у JavaScript та його перевантаженням

Іноді ви зіштовхнетеся з незрозумілими 404 помилками, які, згідно з пошуковою консоллю Google, посилаються на декілька або всі сторінки. Коли ви шукаєте посилання у вихідному коді, ви побачите, що вони насправді є відносними URL-адресами, включеними до сценаріїв, подібних до цього (лише випадковий приклад, який я бачив у одній зі своїх властивостей Google Search Console):

За даними Google, це зовсім не проблема, і цей тип помилки 404 можна просто ігнорувати. Прочитайте параграф 3) цієї публікації від Джона Мюллера від Google для отримання додаткової інформації (а також іншої частини, оскільки це дуже корисно):

Помилки Mystery 404

У деяких випадках джерело посилання залишається загадкою. Дані, які Google надає у звітах про помилку сканування, не завжди надійні. Наприклад, інформація на вкладці "Зв'язані з" не завжди є актуальною і може містити URL-адреси, які не існували протягом багатьох років, або більше не посилаються на URL-адреси помилок. У таких випадках ви все ще можете налаштувати перенаправлення 301 для помилкової URL-адреси.

Не забувайте завжди відзначати всі 404 помилки сканування, про які ви піклувалися, як зазначено у звіті про помилку сканування. Якщо 404 помилки сканування, які ви не знаєте, що робити з ними, ви можете помітити їх як фіксовані і зібрати їх у "список таємниць". Якщо вони будуть продовжувати з'являтися знову, ви знаєте, вам доведеться глибше заглибитися в проблему. Якщо вони не з'являться знову, тим краще.

Якщо у вас виникли помилки таємничих 404, не соромтеся залишити мені коментар в кінці цієї статті. Ми будемо раді перевірити вашу проблему.

Давайте подивимося на дивні види «помилок Soft 404».

Що таке помилки «Soft 404»?

Це те, що Google придумав, чи не так? Принаймні я ніколи не чув про помилки Soft 404. Помилка "Soft 404" - це порожня сторінка, з якою зійшов бот Google, який повернув код статусу 200.

Отже, це в основному сторінка, на якій Google THINKS має бути 404 сторінкою, але це не так. У 2014 році веб-майстри почали отримувати помилки "Soft 404" для деяких з їхніх реальних контентних сторінок. Це спосіб Google повідомити нам, що на наших сторінках є "тонкий контент".

Робота з помилками "Soft 404" є настільки ж простою, як і звичайні помилки 404:

• Якщо URL-адреса помилки "Soft 404" не повинна існувати, 301 перенаправляє її на існуючу сторінку. Також переконайтеся, що ви вирішили проблему неіснуючих URL-адрес, не повертаючи відповідний код помилки 404.
• Якщо URL-адреса сторінки "Soft 404" є однією з актуальних сторінок, це означає, що Google розглядає її як "тонкий контент". У цьому випадку переконайтеся, що ви додаєте цінний вміст на свій веб-сайт.

Після роботи над помилками "Soft 404" не забудьте позначити їх як виправлені. Далі, давайте подивимося на жорстокі види 500 помилок сервера.

Що робити з 500 помилками сервера?

500 помилок сервера, мабуть, єдиний тип помилок сканування, про які ви повинні трохи занепокоїтися. Якщо бот Google регулярно зіштовхується з помилками сервера, то це дуже сильний сигнал для Google, що щось не так з вашою сторінкою, і в кінцевому підсумку це призведе до гіршого рейтингу.

Цей тип помилки сканування може відображатися з різних причин. Іноді це може бути певний субдомен, каталог або розширення файлу, які змушують ваш сервер віддавати код стану 500 замість сторінки. Розробник веб-сайту зможе виправити це, якщо ви надішлете йому список останніх 500 помилок сервера з Інструментів Google для веб-майстрів.

Іноді в консолі пошуку Google з'являються 500 помилок сервера через тимчасову проблему. Можливо, сервер деякий час відсутній через технічне обслуговування, перевантаження або форс-мажор. Як правило, це ви зможете дізнатися, перевіривши файли журналу та звернувшись до розробника та хосту веб-сайту. У випадку, подібному до цього, ви повинні спробувати переконатися, що така проблема не виникне знову в майбутньому.

Зверніть увагу на помилки сервера, які відображаються в інструментах Google Webmaster, і намагайтеся максимально обмежити їх появу. Бот Google повинен завжди мати доступ до ваших сторінок без будь-яких технічних бар'єрів.

Давайте подивимося на деякі інші помилки сканування, які ви можете зіткнутися з вашими інструментами Google Webmaster.

Інші помилки сканування: 400, 503 тощо

Ми розглянули найважливіші та найпоширеніші помилки сканування в цій статті: 404, "Soft 404" і 500. Іноді ви можете знайти інші типи помилок сканування, наприклад 400, 503, "Відмовлено у доступі", "Неправильно" перенаправлення »(для смартфонів) і так далі.

У багатьох випадках Google надає деякі пояснення і ідеї про те, як боротися з різними типами помилок.

Взагалі, добре поводитися з усіма типами помилок сканування, які ви знайдете, і намагайтеся уникнути їх повторного відображення в майбутньому. Чим менше помилок сканування, з якими стикається бот Google, тим більше Google довіряє здоров'ю вашого сайту. Сторінки, які постійно призводять до помилок сканування, вважатимуться також незадовільними для користувачів і будуть нижче рейтингу здорових веб-сайтів.

Докладнішу інформацію про різні типи помилок сканування можна знайти в наступній частині цієї статті:

Список усіх помилок сканування, з якими я зіткнувся в "реальному житті"

Я думав, що може бути цікаво включити список усіх типів помилок сканування, які я бачив у властивостях консолі пошуку Google, над якими я працював. Я не маю багато інформації про них (за винятком тих, що обговорювалися вище), але ми йдемо:

Помилка сервера (500)
У цьому звіті Google перелічує URL-адреси, які повернули помилку 500, коли бот Google спробував сканувати сторінку. Подивитися вище для більш докладної інформації.

Soft 404
Це URL-адреси, які повернули код статусу 200, але, за словами Google, слід повернути помилку 400. Я запропонував деякі рішення для цього вище .

Доступ заборонений (403)
Тут Google перераховує всі URL-адреси, які повернули помилку 403, коли бот Google спробував сканувати їх. Переконайтеся, що ви не посилаєтеся на URL-адреси, які вимагають автентифікації. Можна ігнорувати помилки "Доступ заборонено" для сторінок, які ви включили до файлу robots.txt, оскільки ви не хочете, щоб Google отримував до них доступ. Це може бути гарною ідеєю, хоча використовувати посилання nofollow, коли ви посилаєтеся на ці сторінки, щоб Google не намагався сканувати їх знову і знову.

Не знайдено (404/410)
"Не знайдено" - класична помилка 404, про яку йшлося вище . Читати коментарі цікаві відомості про помилки 404 та 410.

Не виконано (301)
Помилка "не дотримується" відноситься до URL-адрес, які перенаправляють на іншу URL-адресу, але перенаправлення не працює. Виправити ці перенаправлення!

Інші (400/405/406)
Тут Google групує все, для чого він не має назви: я бачив помилки 400, 405 і 406 у цьому звіті, і Google каже, що не може сканувати URL-адреси "через невизначене питання". Я пропоную вам лікувати ці помилки так само, як ви ставитеся до нормального 404 помилок .

Flash-вміст (смартфон)
Цей звіт просто перераховує сторінки з великою кількістю флеш-контенту, який не буде працювати на більшості смартфонів. Позбавтеся від спалаху!

Заблоковано (смартфон)
Ця помилка стосується сторінок, до яких можна отримати доступ до бота Google, але вони були заблоковані для мобільного бота Google у файлі robots.txt. Переконайтеся, що всі боти Google отримують доступ до вмісту, який потрібно індексувати!

Повідомте мене, якщо у вас виникли запитання чи додаткова інформація про перелічені вище помилки сканування або інші типи помилок сканування.

Пікова помилка сканування після міграції веб-сайту

Ви можете очікувати піку помилок сканування після міграції веб-сайту. Навіть якщо ви зробили все, що в ваших силах підготувати міграцію з точки зору SEO , дуже ймовірно, що бот Google зіткнеться з великою кількістю помилок 404 після відновлення.

Якщо кількість помилок сканування в Інструментах Google для веб-майстрів зростає після міграції, не потрібно панікувати. Просто виконайте описані вище дії та спробуйте виправити якомога більше помилок сканування протягом наступних тижнів після міграції.

Резюме

• Позначити всі помилки сканування як виправлені.
• Повертайтеся до звіту раз на тиждень.
• Виправляйте помилки 404, перенаправляючи помилкові URL-адреси або змінюючи внутрішні посилання та записи мапи сайту.
• Спробуйте уникнути помилок на сервері та зверніться за допомогою до розробника та сервера.
• Робота з іншими типами помилок і використання Ресурси Google для допомоги.
• Очікуйте піку помилок сканування після міграції веб-сайту.

Якщо у вас є додаткові ідеї про те, як боротися з помилками сканування в Інструментах Google для веб-майстрів, я був би вдячний за ваші коментарі.