Перемещение данных между средами

Question

У меня сейчас очень сложная ситуация с перемещением данных между средами на работе.

Эти данные являются дампами базы данных, индексами Solr или простыми изображениями. Наш процесс: "архивировать данные" + «rsync /scp данные в другую среду / машину» + "распаковать данные".

Размер этих данных варьируется от нескольких гигабайт до макс. 1 терабайта.

Некоторые процессы "сценариев", другие все еще требуют ручной обработки.

В любом случае, основной проблемой является время для упаковки / распаковки и повторной синхронизации данных.

Учитывая производительность и "автоматизацию", существуют ли лучшие стратегии для перемещения данных?

Answer 1

Вы можете смонтировать эту удаленную файловую систему, например, с помощью sshfs .

sshfs user@remotehoste:<remotepath> <localpath>

Затем вы можете использовать символические ссылки на данные, где они вам нужны, или получить к ним доступ прямо здесь.

ln -s <mountpont/file> <targetlocation>

Но это зависит от того, что именно вы хотите сделать с этими данными.

Answer 2

Другая возможность, в зависимости от того, что вы пытаетесь сделать, - это реплицировать данные на уровне блоков - например, с помощью DRBD или MARS в LVM и использовать моментальный снимок для PITR и / или модифицировать данные из копии изображения - просто помните, что снимки LVM очень сильно замедляет работу ввода-вывода в подсистеме.