Меня интересуют архивы WET
для последнего сканирования в апреле 2018 г. (http://commoncrawl.org/2018/05/april-2018-crawl-archive-now-available/)
Можно ли скачать полный архив WET
сразу? Я вижу, что на сайте доступны отдельные пути, но я бы хотел избежать необходимости перебирать каждый отдельный файл. Это возможно? Я вынужден повторять каждый файл?
Отказ от ответственности: я noob
с командной строкой. Любая подробная помощь приветствуется!
Спасибо!