Параллельно GNU: перенаправить все stdin всем процессам

Question

Я пытаюсь обрабатывать ввод разными способами параллельно, записывая получающиеся строки по мере их поступления. Мой текущий подход заключается в следующем:

# process_parallel.sh
read input
parallel --colsep ' ' --linebuffer 'echo $input | {}' \
 ::: 'python process1.py' ./process2.sh ./process3

Контекст сводится к чему-то вроде этого:

(sleep 1; echo "short input arriving late") | ./process_parallel.sh | ./collate_results.sh

Вышеописанное работает, но имеет один важный недостаток: процессы не запускаются, пока ввод не будет прочитан. Я хочу запустить их немедленно, так как это может занять некоторое время, а затем подключить параллельный канал к каждому из них.

Как мне этого добиться?

Answer 1

В GNU Parallel была проделана небольшая работа, чтобы не запускать новое задание, если нет данных для запуска. Это связано с тем, что некоторые программы терпят неудачу, если они не получают никакого ввода. Таким образом, вы будете работать против дизайна GNU Parallel.

Для дублирования ввода вы можете использовать tee и процесс замены:

cat namedpipe_or_file | tee >(process1) >(process2) >(process3) >/dev/null

Это немедленно запустит process1 , process2 и process3 . Вывод может, однако, быть смешанным, поэтому, если вывод должен использоваться, вы должны перенаправить его в другие файлы:

cat namedpipe_or_file | tee >(process1 > out1) >(process2 > out2) >(process3 > out3) >/dev/null

Answer 2

Имейте два скрипта-обертки: во-первых, измените process_parallel.sh так, чтобы каждый из процессов получил инструкцию считывать свои входные данные из трех файлов, например, file1, file2, file3.

Теперь напишите второй скрипт-обертку, который параллельно отправляет свой стандартный ввод в три файла, что-то вроде:

  #!/bins/bash
  #parallelise input
  # let's call this file parallelise
  parallel -j 3 -- "echo $1 > file1" "echo $1 > file2" "echo $1 file3"

Теперь вы начинаете свои вещи с:

  ./process_parallel_sh; cat InputFile | parallelise;