Вопросы с меткой [gnu-parallel]
GNU Parallel - это инструмент командной строки, который позволяет запускать несколько команд параллельно
31 вопрос
7
голосов
1ответ
3k показов
Как я могу установить GNU Parallel вместе с Moreutils?
Homebrew имеет формулу для moreutils и GNU parallel. GNU Parallel конфликтует с Moreutils, так как в нем также есть бинарный файл, называемый parallel , что менее полезно. Однако я все же хотел бы ...
6
голосов
2ответа
6k показов
Как использовать GNU параллельно с gunzip
У меня есть каталог, полный .gz , я хочу расширить каждый архив параллельно с GNU параллельно. Однако я ничего не добился. Я старался parallel 'gunzip {}' ::: `ls *.gz` parallel gunzip `ls *.gz` без ...
4
голоса
3ответа
353 показов
Гну параллельно и акк не играет красиво из-за stdin, труба
Я пытаюсь использовать parallel и ack вместе , чтобы сделать некоторый поиск параллельно. Однако ack похоже, настаивает на использовании stdin если он оказывается в канале, даже если вы ...
4
голоса
1ответ
1k показов
Подавление stderr в GNU Parallel
Я использую GNU Parallel для одновременного запуска команды несколько тысяч раз. Для получения журналов выполнения я использую --files и --results . Чтобы получить хороший индикатор выполнения во ...
4
голоса
2ответа
652 показов
GNU Parallel - глобальные переменные и функции
У меня есть этот скрипт: GLOBAL_VAR="some global value" function test { echo $1 echo ${GLOBAL_VAR} } export -f test parallel --jobs 5 --linebuffer test ::: "${files[@]}" Как я могу увидеть ...
3
голоса
2ответа
2k показов
Как использовать опцию "фильтр" для GNU split с параллельной GNU?
Я пытаюсь разбить несколько огромных файлов gz на сжатые по N-строке фрагменты. Чтобы продемонстрировать, давайте рассмотрим следующее: seq 100 | gzip > big_file0.gz Я могу разделить это на несколько ...
3
голоса
1ответ
4k показов
Пакетная загрузка URL-адресов из многопоточной командной строки
У меня есть 100 000 URL-адресов небольших файлов для загрузки. Хотелось бы использовать 10 нитей и конвейерная обработка является обязательным условием. Я объединяю результат в один файл. Текущий ...
3
голоса
2ответа
89 показов
Добиться лучшего сжатия для нескольких сжатых файлов
У меня есть несколько каталогов, содержащих тысячи файлов gzip (в целом речь идет о файлах 1M). Некоторые из этих файлов повреждены, и большинство из них действительно маленькие (пара КБ). Почти все ...
3
голоса
1ответ
1k показов
Gnu Parallel зависает как один процесс "спит"
Я параллельно запускаю команду, используя Gnu Parallel, которая имеет два параметра в качестве входных данных: каталог и файл conf: parallel --gnu my_command ::: (ls -d dir*test) ::: properties.conf ...
3
голоса
1ответ
1k показов
Использование sed с параллельным доступом дает пустой вывод при перенаправлении в файл
Я использую оболочку zsh . Я пытаюсь использовать sed чтобы заменить текст во многих файлах, используя параллельные, чтобы ускорить процесс. Когда я проверил это на одном файле и позволил выводу ...
3
голоса
2ответа
1k показов
Многократное чтение из txt-файла в bash (параллельная обработка)
Вот простой bash-скрипт для кода статуса HTTP while read url do urlstatus=$(curl -o /dev/null --silent --head --write-out '%{http_code}' "${url}" --max-time 5 ) echo "$url $urlstatus" >> ...
3
голоса
2ответа
748 показов
выполнить команду для каждой строки стандартного ввода немедленно?
Как мне сразу выполнить команду для каждой строки стандартного stdin ? Пример: (echo abc; sleep 10; echo def;) | ??? Инструмент xargs не выполняет работу, потому что он блокируется, пока не увидит ...
2
голоса
2ответа
2k показов
Сценарий Bash, в то время как чтение цикла вызывает ошибку «сломанный канал» при запуске с GNU Parallel
Согласно списку рассылки GNU Parallel, это не проблема GNU Parallel. Они предложили мне опубликовать мою проблему здесь. Ошибка, которую я получаю, является ошибкой "сломанной трубы", но я чувствую, ...
2
голоса
2ответа
236 показов
GNU "Параллельный --pipe" не обрабатывает стандартный ввод по строкам
Я очень озадачен тем, как использовать GNU параллельно для передачи стандартного ввода в команду задания. У меня есть то, что я представлял себе как очень распространенный вариант использования. У ...
2
голоса
1ответ
770 показов
Использование GNU Parallel для поиска большого файла с разбивкой по частям на хост
Я использую Ansible для настройки некоторой конфигурации на нескольких узлах, и в рамках этой настройки мне нужно разделить один большой файл на n строк и скопировать каждую часть в удаленный файл ...
2
голоса
1ответ
52 показов
Параллельная GNU не делит работу равномерно
Насколько я понимаю, опция -X должна равномерно распределять аргументы между заданиями. Тем не менее, я получаю очень искаженный дистрибутив: user@host:/tmp/ptest$ count() { > echo $# > } ...
2
голоса
2ответа
389 показов
Параллельно GNU: перенаправить все stdin всем процессам
Я пытаюсь обрабатывать ввод разными способами параллельно, записывая получающиеся строки по мере их поступления. Мой текущий подход заключается в следующем: # process_parallel.sh read input parallel ...
2
голоса
1ответ
276 показов
GNU-параллельное шифрование файлов с пробелами или специальными символами?
Я пытаюсь зашифровать кучу файлов с помощью кода ниже: find . -name "*.vi" | sort | parallel --gnu -j 4 --workdir "$PWD" ' echo "Encrypting {/.} ..." gpg -r user@myemail.com -o "/tank/test/{/.}.gpg" ...
2
голоса
1ответ
342 показов
Как заставить gnuparallel последовательно выполнять набор команд?
Gnu Parallels - это мощный инструмент, который я использую для запуска множества независимых команд BASH в виде одного набора параллельно. Я хотел бы иметь возможность запускать те же команды ...
1
голос
1ответ
323 показов
невозможно установить GNU параллельно в Ubuntu 12.04
Travis CI использует Ubuntu 12.04. Я хочу установить на него GNU Parallel и раньше он был в состоянии установить sudo apt-get install parallel но теперь не могу. Что мне нужно сделать? Нужно ли ...
1
голос
2ответа
1k показов
обнулить большое блочное устройство с распараллеленным дд
У нас есть шестьдесят терабайтное блочное устройство, которое мы хотим обнулить с помощью dd. Можно ли распараллелить эту операцию, чтобы уменьшить количество времени, которое требуется? Я попытался ...
1
голос
1ответ
701 показов
GNU параллельно удалить escape перед пробелами в команде
В настоящее время я тестирую GNU параллельно, чтобы распределить команду сравнения по нескольким серверам, используя bash. В своей основной функции эта команда сравнения принимает два входа для ...
1
голос
0ответов
82 показов
Параллельно GNU не перечитывает sshloginfile во время работы
Пытаюсь получить параллельное динамическое добавление / удаление узлов обработки, и я могу указать, какие хосты использовать на --sshloginfile. К сожалению, изменение записей в sshloginfile во время ...
1
голос
2ответа
353 показов
Распараллеливание удаленного tar и получение вывода по каналу ssh
Я пытался распараллелить сценарий, который я использую, но пока что GNU Parallel очень сложен. У меня есть 2 файла - один, содержащий хосты для запуска команды, а второй с параметрами для команды. ...
1
голос
1ответ
322 показов
Параллельно: ограниченное количество многопоточных процессов
Я использую GNU Parallels для параллельного запуска нескольких заданий, например: parallel python3 main.py arg ::: args* . В однопоточных заданиях я использовал -j 100% чтобы убедиться, что 1 задание ...
1
голос
1ответ
534 показов
Параллельный локоть с файлом ввода и вывода имени файла на оболочке Linux
Я обычно скачиваю файлы параллельно с curl и urls в файл, подобный этому: cat links.txt | parallel --will-cite curl --connect-timeout 5 --max-time 10 --retry-max-time 40 --retry 5 --retry-delay 0 -s ...
1
голос
1ответ
66 показов
Gnu параллельные и множественные узлы, использующие rsh вместо ssh
Могу ли я использовать rsh вместо ssh для разделения заданий между узлами в настройке hpc? Или GNU-параллель только может отправлять различные задания по SSH?
1
голос
2ответа
1k показов
используя awk с параллельным
У меня есть около 3000 файлов по 300 МБ каждый, и я бы хотел как можно быстрее найти серию подстрок с моим 16-ядерным сервером. Это то, что я пытался, но не похоже, чтобы распараллеливать поиск ...
1
голос
0ответов
83 показов
почему мой главный узел простаивает при параллельном запуске gnu?
Я использую gnu -rallel для параллельного запуска нескольких сценариев Python на нескольких компьютерах в моей гигабитной сети. Обрабатываемые файлы находятся в папке tmpfs (RAM) на моем главном ...
0
голосов
2ответа
58 показов
Отладочный вывод
Я попытался ускорить импорт большого набора данных с папкой, полной файлов .sql ls -rS *.sql | parallel -j16 mysql -uusername -ppassword dbname "
-1
голос
1ответ
73 показов
Какую версию я должен скачать для этой ОС Linux?
Я хотел бы установить GNU параллельно на компьютерном кластере. Я вижу, что есть несколько версий GNU-параллели, которые можно скачать (см. Ссылку выше в разделе «Загрузка GNU Parallel»). Я полагаю, ...