У меня есть 100 000 URL-адресов небольших файлов для загрузки. Хотелось бы использовать 10 нитей и конвейерная обработка является обязательным условием. Я объединяю результат в один файл. Текущий подход:
cat URLS | xargs -P5 -- curl >> OUTPUT
Есть ли лучший вариант, который покажет прогресс всей операции? Должен работать из командной строки.