Не удалось скачать содержимое страницы
Сайт переехал на другую доменную зону.
Обнаружил что яндекс боты не могут получить доступ к сайту, и пишет что, "Не удалось скачать содержимое страницы"
Начал проводить проверку. Первое, что сделал, это проверил вручную в браузере редиректы, все работает.
Далее пошел проверять альтернативными методами, например сервисом https://bertal.ru/ - также, корректно отдает ответ 301.
Далее пошел проверять CDN и CloudFlare, доступы яндекс ботам открыты, кэш выключен, сертификаты обновлял, все равно при обращении он не может получить содержимое страницы.
В связи с этой ошибкой, я не могу настроить переезд сайта на другую зону, и разобраться не могу.
В логах веб сервера этого домена, выводит 301 редиректы корректно, вот пример: https://pastebin.com/270ccQwR
В логах кстати по UserAgent есть яндекс бот, но это подставной бот от сервиса bertal
Домен с которым проблема https://intim-moskva.net/
www не использую, проверял как с http так и c https, всеми видами ботов яндекс, результата не дало.
Что сделать или проверить или как найти ошибку?
Здравствуйте! Чтобы мы могли детально изучить ситуацию, напишите нам, пожалуйста, через форму обратной связи: https://yandex.ru/support/webmaster/troubleshooting.html
Так мы сможем быстрее разобраться с вопросом и помочь вам. Важно заполнить форму с того аккаунта, на котором у вас есть права на сайт в Вебмастере.