Обход ботами страниц с ответом 404
Здравствуйте. Просматривая лог-файлы своих сайтов, я обнаружил что Яндекс боты активно сканировали удаленные страницы (за одни сутки – более 200 обходов удаленных страниц). Все нормально, НО эти страницы/разделы были удалены больше года назад!
Зачем сканировать давно удаленные страницы?
Вы тратите мощности/электроэнергию своих веб серверов на операции которые не нужны ни вам ни вебмастерам (вебмастерам тоже не нужны лишние нагрузки на сервер + лишний зарубежный трафик, мои сайты на хостинге в Беларуси).
Я понимаю, если страница по ошибке была удалена или какой-то сбой на сервере - но для этого будет достаточно после первого получения ответа 404 обойти страницу повторно 1-2 раза в месяц (в месяце, когда страница была удалена).
И уж тем более не нужно обходить страницы, которые были вручную удалены через инструмент Вебмастера «Удаление страниц из поиска» - вебмастер сам удалил свои страницы – где логика обхода? Если он передумает – он сможет повторно добавить страницы через инструмент Вебмастера «Переобход страниц» либо запросив сканирование Sitemap (переобход).
Здравствуйте, Александр! Пожалуйста, заполните форму обратной связи: https://ya.cc/t/TpjeKoCg6j9NGi . Постараемся разобраться в ситуации.