Я использую сервер резервного копирования ZFS (с дедупликацией) для резервного копирования веб-сайтов и их хранения с сохранением. Для этого я передаю все файлы на сервер резервного копирования во время первого резервного копирования и создаю копию всех этих файлов, чтобы создать один набор для хранения и один набор для rsync резервного копирования на следующий день с.
Однако создание локальной копии всех этих файлов занимает много времени,> 3 часа, с данными всего 15 ГБ, тогда как передача их с другого сервера занимает всего полчаса. Вероятно, это связано с тем, что команда "cp" читает один (маленький) файл за раз и записывает его в хранилище, что занимает часы на механических дисках и время их поиска (raidZ с 3 дисками).
Вероятно, это будет исправлено, если копия сначала прочитает кучу данных в память, а затем запишет ее, вместо того, чтобы делать это файл за файлом, но как мне это сделать?