2

Если какое-то доменное имя становится устаревшим, оно обычно по-прежнему отвечает на HTTP-запросы некоторыми группами бесполезных ссылок, иногда даже без явного сообщения «Срок действия этого домена истек / для продажи», вместо того, чтобы просто не решить его вообще.

Как автоматически определить "мертвый" (просроченный / не продленный) домен без браузера? Можно ли это сделать с помощью инструмента whois ?

Ожидая что-то вроде этого:

while true; do
    if ! checkdomain something-on-verge-of-abandoning-business.com; then
        echo "Good night, sweet prince"
        break
    fi
    sleep 1d
done

Например, давайте посмотрим на домен allmydata.com . Насколько я вижу в Allmydata, там должна быть какая-то служба резервного копирования на основе Tahoe-LAFS. Но на самом деле это припаркованный домен.

$ whois allmydata.com
...
   Domain Name: ALLMYDATA.COM
   Registrar: DOMAIN MONKEYS, LLC
   Whois Server: whois.domainmonkeys.com
   Referral URL: http://www.domainmonkeys.com
   Name Server: NS1.DSREDIRECTION.COM
   Name Server: NS2.DSREDIRECTION.COM
   Status: clientTransferProhibited
   Updated Date: 04-aug-2013
   Creation Date: 03-aug-2004
   Expiration Date: 03-aug-2014
...

$ dig +short -t A allmydata.com @8.8.8.8
208.73.211.247

Эта мелкая проверка показывает, что это хороший домен. Но как надежно (т. Е. Не эвристически анализировать страницу и не измерять "спамность" или "припаркованность" по контенту) обнаруживать такую вещь?

|источник

1 ответ1

1

Вы можете просто использовать python для чтения содержимого html, а затем искать "домен доступен"/"припаркован"/"продлить" и т.д. И другие ключевые слова. Вы можете передать ему CSV-файл доменов, а затем вывести результаты в виде CSV, и там у вас есть список доменов.

Другая идея состояла бы в том, чтобы проанализировать записи whois, используя что-то вроде этого, и проанализировать результаты для даты обновления. Вот как я это сделаю.

|источник

Всё ещё ищете ответ? Посмотрите другие вопросы с метками .