Проблемы с Wget на сайте CloudFlare: 503 Сервис недоступен

Question

Я видел другие случаи ошибок 503 с использованием Wget, но я не могу решить эту проблему.

Когда я пытаюсь загрузить определенный веб-сайт, я получаю ошибку 503 Service Unavailable. Этого не происходит ни с одним веб-сайтом, кроме рассматриваемого.

Это то, что происходит. Я вхожу:

wget -r --no-parent -U Mozilla http://www.teamspeak.com/

И это ошибка, которую я получаю обратно.

--2015-03-12 11:57:08--  http://www.teamspeak.com/
Resolving www.teamspeak.com... 104.28.27.53, 104.28.26.53
Connecting to www.teamspeak.com|104.28.27.53|:80... connected.
HTTP request sent, awaiting response... 503 Service Unavailable
2015-03-12 11:57:09 ERROR 503: Service Unavailable.

Этот сайт использует защиту CloudFlare (при открытии сайта вам нужно подождать 5 секунд, пока он «проверяет ваш браузер»).

Answer 1

Защита CloudFlare основана на использовании JavaScript, файлов cookie и фильтрации заголовков http. Если вы хотите сканировать сайт, защищенный CloudFlare, с помощью wget, сначала вы должны ввести его в браузере с помощью отладчика (например, Firefox с Firebug) и скопируйте заголовок запроса Cookie.

Теперь самое сложное: этот файл cookie действителен только в течение 1 часа, поэтому вам придется обновлять его каждый час вручную.

Вот полная команда, которую вы можете использовать для сканирования сайта:

wget -U "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:39.0) Gecko/20100101 Firefox/39.0" --header="Accept: text/html" --header="Cookie: __cfduid=xpzezr54v5qnaoet5v2dx1ias5xx8m4faj7d5mfg4og; cf_clearance=0n01f6dkcd31en6v4b234a6d1jhoaqgxa7lklwbj-1438079290-3600" -np -r http://www.teamspeak.com/

Обратите внимание, что значение cookie __cfduid является постоянным, и вам нужно только менять значение cookie cf_clearance каждый час.

Answer 2

Похоже, CloudFlare может заблокировать ваш запрос к сайту, потому что вы обращаетесь к сайту через командную строку. Поскольку в их аккаунте включен режим «Я под атакой», доступ к сайту можно получить только с помощью обычного веб-браузера.

Answer 3

Похоже, проблема в том, что TeamSpeak использует защиту DDoS от CloudFlare. Смотрите на скриншот внизу ответа. Более подробную информацию о том, что эта защита означает / означает на этой официальной странице Amazon, посвященной функциям безопасности CloudFlare:

CloudFlare использует знания разнообразного сообщества веб-сайтов для обеспечения безопасности нового типа службы. Онлайн-угрозы варьируются от неприятностей, таких как спам в комментариях и чрезмерное сканирование ботов, до злонамеренных атак, таких как SQL-инъекция и атаки типа DOS. CloudFlare обеспечивает защиту от всех этих типов угроз и многое другое для обеспечения безопасности вашего сайта.

Более подробную информацию об их передовых методах защиты от DDoS можно найти здесь:

Усовершенствованная защита DDoS от CloudFlare, предоставляемая в качестве службы на границе сети, соответствует сложности и масштабам таких угроз и может использоваться для смягчения атак DDoS всех форм и размеров, включая атаки на протоколы UDP и ICMP, а также SYN. /ACK, усиление DNS и атаки на уровне 7. Этот документ объясняет анатомию каждого метода атаки и как сеть CloudFlare предназначена для защиты вашего веб-присутствия от таких угроз.

Теперь, как этот фактор входит в «503 Сервис временно недоступен», который вы видите? Что ж, это означает, что сайт, к которому вы пытаетесь получить доступ, находится под таким высоким уровнем защиты от сервисов обнаружения и предотвращения DDoS-атак Amazon CloudFlare, что нестандартный доступ с помощью инструмента командной строки, такого как wget или curl на данный момент невозможен. ,

FWIW, я сделал несколько разных попыток curl из командной строки, и я полагаю, что происходит то, что защита DDoS от CloudFlare просто действует как огромный прокси-сервер веб-страницы для сайтов, которые используют ее. А «настоящий» веб-сайт существует где-то, кроме IP-адреса, к которому относится имя хоста. Такие сайты утверждают, что дают вам «реальный» IP-адрес, связанный с именем хоста CloudFlare, но, похоже, он не работает вообще. Или, возможно, заданный IP-адрес действителен, но способ настройки службы просто лишает вас прямого доступа к реальному сайту, не перепрыгивая через петли CloudFlare.

Это просто означает, что лучшее, что вы можете сделать, это сидеть и ждать, и, возможно, через несколько часов или, возможно, дней, проблемы безопасности, с которыми столкнулся сайт, исчезнут, и можно будет выполнять стандартные вызовы wget или curl . Но реальность такова, что если эта защита безопасности установлена и является надежной, а владелец веб-сайта не отключает ее, то вы не сможете многое сделать, чтобы обойти ее.