Не удалось подключиться из-за ошибки сервера - проблема на стороне Яндекса
Всем здравствуйте! Нашел на просторах интернета много форумов с типичной проблемой такой как у нас. До описания проблемы лишь напишу, что она была систематической в мае 2023 года и вот с августа 2025 года она опять возникла. В чем суть.
Яндекс.Вебмастер 20.09.2025 выдал фатальную ошибку - якобы “Не удалось подключиться из-за ошибки сервера” - причина: “Ошибка может быть связана, например, с настройками сервера или высокой нагрузкой. Чтобы решить проблему, обратитесь к владельцу хостинга.
Если роботы не смогут получить доступ к серверу, сайт может полностью пропасть из поиска. Скриншоты https://disk.yandex.ru/i/e3kxRQYBGfvDqw , https://disk.yandex.ru/i/0FOrhJnZy6unZQ
Весь день 20.09.2025 и всю ночь 21.09.2025 мы разбирались с несуществующей проблемой, которая указана в панеле Яндекс.Вебмастер. Тогда мы и не могли подумать, что робот яндекса может ошибаться.
И после того, как мы проверили на своей стороне поняли, что копаем не там.
И так почему же проблема не на нашей стороне, а на стороне Яндекса:
Каких либо блокировок с нашей стороны в отношении поисковых ботов или геоблокировки нет
- При обращении через Curl с использованием юзер-агента Яндекса каких либо проблем не возникает:
$ curl -IL --user-agent "YandexBot" https://нашсайт.ru/robots.txt
HTTP/2 200
server: ddos-guard
set-cookie: __ddg8_=SK7B7zuxOUh6UTUx; Domain=.нашсайт.ru; Path=/; Expires=Mon, 22-Sep-2025 04:41:00 GMT
set-cookie: __ddg10_=1758514860; Domain=.нашсайт.ru; Path=/; Expires=Mon, 22-Sep-2025 04:41:00 GMT
set-cookie: __ddg9_=188.234.157.62; Domain=.нашсайт.ru; Path=/; Expires=Mon, 22-Sep-2025 04:41:00 GMT
set-cookie: __ddg1_=8C4Xqf24JvKmwlY6ySkt; Domain=.нашсайт.ru; HttpOnly; Path=/; Expires=Tue, 22-Sep-2026 04:21:00 GMT
date: Mon, 22 Sep 2025 04:21:00 GMT
content-type: text/plain
content-length: 3911
last-modified: Sun, 21 Sep 2025 09:46:02 GMT
etag: "f47-63f4c922d42b0"
accept-ranges: bytes
vary: Accept-Encoding
Как видно из логов робот яндекс обращается к нам и получает верный ответ.
- Если:
- использовать инструмент «Проверка robots», то робот получить доступ к сайту может: https://disk.yandex.ru/i/moJ-nA_xUbjYJw , https://disk.yandex.ru/i/kj3t7IWeehJD4A
- Если через инструмент «Проверка ответа сервера» запросить проверку так же https://нашсайт.ru/robots.txt, то робот уже получить доступ к сайту не сможет https://disk.yandex.ru/i/4w0QY4A8a4FRGA
- В кабинете Яндекс.Директ торговые компании запущены и работают в штатном режиме https://disk.yandex.ru/i/8eXQcvpXwjkFyg , но если мы попробуем просканировать сайт в панеле Яндекс.Вебмастер роботом директа, то он якобы выдает ошибку https://disk.yandex.ru/i/nJcGP-mR2vEHfA
Данная проблема систематически обсуждается на различных форумах (например здесь https://searchengines.guru/ru/forum/1077145 ).
В связи с вышеизложенным просим проанализировать данную проблему, которую мы подробно обсуждаем прямо в тикете 25092108052701608 и скорректировать работу робота Яндекс.
С уважением, Вячеслав