Мне нужно переместить около 1000 файлов BAM с метаданными и последующими файлами (каждый в диапазоне 7–10 ГБ) на защищенный сервер, требующий двухфакторной аутентификации. В связи с настройкой на сервере мне нужно отфильтровать каждый файл (в противном случае каждый отдельный файл помещается в свою собственную папку с метками времени, что усложняет повторную агрегацию каждого "пакета BAM"). У меня нет дополнительного жесткого диска, что означает, что я должен использовать оставшееся место на существующем диске, чтобы повторить следующее для каждой "небольшой связки файлов BAM"
- Tar каждый BAM-файл в чанке "i" (и выполнение контрольной суммы md5 для проверки целостности)
- Отправить каталог, содержащий пакет, через SFTP (с 2FA) на сервер
- Удалить кусок "я"
- Повторите шаги 1-3 для чанка "i+1"
Мне было интересно, есть ли способ обойти, где (в идеале) в цикле, я предоставляю двухфакторную аутентификацию один раз, затем повторяю шаги 1-3 для каждого файла BAM (что-то вроде ожидания сеанса SFTP, пока я выполняю шаг 1) и отправка задания в кластер для завершения.
Примечание. Сервер допускает только SFTP-соединение.