Обращение к robots.txt в моменте

Есть трудности при работе с "Анализ robots.txt" в случаях когда ранее при обращении робот не смог получить файл robots.txt, были проблемы на сервере, но кратковременные. Но после такой ситуации нет возможности пользоваться сервисом т.к. он не в моменте запрашивает robots.txt, а использует старые данные обхода.

Можно тут сделать чтобы в "Анализ robots.txt" было обращение к файлу в моменте при выборе "Текущая версия"?

Т.к. не понятно сколько ждать "уведомление со временем должно будет пропасть".