Как скачать 1 миллион файлов?

Question

Как я могу скачать 1 миллион файлов?

Я перепробовал множество менеджеров загрузки, все они очень медленные при импорте списка URL, в настоящее время я ждал 20 часов на Download Master, я также пробовал Internet Download Manager и JDownloader, есть ли другое программное обеспечение, которое может обрабатывать импорт URL и загрузка быстрее?

Answer 1

В Linux это очень легко с wget

Однако я предполагаю, что вы пользователь Windows.

Если это так, вы можете достичь аналогичных результатов, используя Powershell, если вы используете Powershell 3 или выше.

1. Создайте .txt файл в блокноте с полным списком URL
2. Откройте Powershell и cd в каталог, в котором вы сохранили файл urls.txt. Например, cd C:\Users\jay\Documents
3. Вставьте следующее в окно Powershell: Get-Content urls.txt | ForEach-Object {Invoke-WebRequest $_ -OutFile $(Split-Path $_ -Leaf)}

Answer 2

Если вы устанавливаете Cygwin, вы можете использовать Wget для загрузки всего в файл, содержащий список URL-адресов.

Поместите все URL-адреса в файл с именем urls.txt , вы можете запустить эту команду:

$ wget -i urls.txt

Answer 3

Если вы ищете эффективность, выполнение нескольких заданий в PowerShell, вероятно, является одним из лучших подходов, но требует небольшого опыта написания сценариев.

Я заполнил файл миллионом записей, а затем рассчитал время для команды, чтобы прочитать его обратно, потребовалось 13,5 с (у меня стандартный жесткий диск 7,200 об / мин).

$down = New-Object "System.Net.WebClient"
Get-Content "C:\YourFile.txt" | Foreach-Object {
    $down.DownloadFile($_, $_.Split("\")[-1])
}

Просто как простой однопоточный пример, но он будет радостно улететь в фоновом режиме, если время не имеет существенного значения. В противном случае вы можете разделить файл, вручную или программно, и использовать Start-Job { //code here// } для каждого раздела.

Конечно, это полностью зависит от формата вашего файла и того, как вам нужно их сохранить и тому подобное, но все это возможно в PowerShell.

Answer 4

Существует небольшая программа для Windows под названием Mass Download, которая много раз мне очень помогала: http://www.softpedia.com/get/Internet/Download-Managers/Mass-Download.shtml. Надеюсь, это поможет вам!