У меня сейчас очень сложная ситуация с перемещением данных между средами на работе.
Эти данные являются дампами базы данных, индексами Solr или простыми изображениями. Наш процесс: "архивировать данные" + «rsync /scp данные в другую среду / машину» + "распаковать данные".
Размер этих данных варьируется от нескольких гигабайт до макс. 1 терабайта.
Некоторые процессы "сценариев", другие все еще требуют ручной обработки.
В любом случае, основной проблемой является время для упаковки / распаковки и повторной синхронизации данных.
Учитывая производительность и "автоматизацию", существуют ли лучшие стратегии для перемещения данных?