как можно загружать большие файлы кусками

Question

Я пытаюсь загрузить файл объемом 40 ГБ и сохранить его непосредственно на USB-накопителе, потому что на локальном жестком диске недостаточно места для файла.

У меня также ограничено 10 ГБ загрузки в день при подключении к Интернету, и мой USB отформатирован в FAT32, поэтому он не может обрабатывать файлы размером более 4 ГБ.

Есть ли способ загружать пару блоков по 4 ГБ этого файла каждый день, а затем соединять их вместе, когда они все загружены?

Я использую Windows 10, а также у меня есть живой USB-ключ Kali Linux.

Answer 1

Если сайт, с которого вы скачиваете, поддерживает возобновленную загрузку, вы можете использовать либо curl с параметром --continue-at либо wget с параметром --start-pos .

Хотя для --max-filesize опция curl , она просто отказывается скачивать файл.

Таким образом, вы можете прервать загрузку, когда файл достаточно велик, или использовать дополнительную программу, такую как pv (вам, вероятно, придется установить этот пакет).

Пример. Предполагается, что "десятичный" ГБ безопасен, 4 ГБ = 4000000000, поэтому используйте, например,

curl --continue-at 8000000000 http://your/file/url | pv -S --size 4000000000 > your-file-name

скачать третий кусок. (Надеюсь, curl правильно обрабатывает большие числа, я проверял только маленькие).

Обе являются стандартными программами для Linux, я не знаю, доступны ли они и для Windows.