Как использовать curl за McAfee Web Gateway?

Question

curl кажется, получает некоторые URL-адреса просто отлично, в то время как другие блокируются с ответом, который указывает, что требуется аутентификация и отсутствует действительный файл cookie.

Я могу скачать тот же URL в Chrome. В Chrome не настроен прокси-сервер.

Answer 1

Из того, что я узнал, просматривая StackOverflow за последние несколько минут, есть несколько способов проверить, использует ли кто-то curl, а не браузер. Обычные способы включают в себя проверку наличия в браузере поддержки javascript, проверку агента пользователя и поиск пропущенных полей запроса.

Я попытался использовать curl для доступа к http://yahoo.com, который вернул веб-страницу «Вернемся ...». Но затем я использовал wget с пользовательским агентом, заимствованным у Firefox, и получил обычную веб-страницу. Попробуйте использовать wget, чтобы увидеть, если это имеет значение.