Как я могу назначить другой IP-адрес во время сканирования
Я ползаю миллиарды страниц каждый день (выделение разных ip поможет блокировать генделя)
1 ответ
0
У вас есть разные варианты для разных IP-адресов. Обычно вам нужно использовать какой-нибудь прокси, я обычно рекомендую выбрать хороший VPN, который позволит вам легко переключать соединение между их серверами, чтобы вы могли легко иметь разные IP-адреса после их блокировки.
Поэтому обычно вы начинаете сканирование, а после блокировки IP-адреса вы можете переключиться на другой сервер из VPN и начать сканирование снова.
Просто убедитесь, что провайдер VPN позволяет вам делать это, а некоторые нет.
Другой вариант - использовать прокси для сканеров. Это услуга, которая предлагает вам конечную точку, по которой вы можете позвонить, и она всегда даст вам ответ. Таким образом, вам не нужно беспокоиться об IP-адресах, блокировках, ограничениях и т.д.
Пока я знаю две службы proxycrawl и crawlera, я использовал обе, и они действительно хороши, proxycrawl дешевле и быстрее, чем другой. Я предлагаю вам попробовать оба варианта и использовать тот, который вам больше подходит.