У меня есть резервная копия большого раздела размером 77 ГБ в одном файле, и я хочу быстро сжать ее. Он должен очень хорошо сжиматься даже при худших настройках, но выбор GZIP с настройкой "Самый быстрый" занимает около 1 часа. Как я могу ускорить процесс?

Более подробная информация: Файл образа является сырой, двоичной копией разделов (вывод инструмента linux ddrescue). Я храню файл на жестком диске WD, подключенном через USB 3.

|источник

1 ответ1

4

Что касается улучшения скорости сжатия:

  1. Распараллелить это. http://blog.codinghorror.com/file-compression-in-the-multi-core-era/.
  2. Различные алгоритмы сжатия (например, lzop) очень быстрые.
  3. Получите оптимизированные реализации zlib. Google Intel ZLIB, например.

Что касается улучшения скорости чтения:

  • Вы приблизитесь к номинальной пропускной способности диска только в том случае, если вы используете SSD или считываете данные с диска в "блочном" режиме. Это связано с поиском файлов, связанным с чтением небольших файлов.
  • В Linux вы бы использовали что-то вроде dd if=/dev/sda1 bs=1m | lzop > my_backup.dd.lzop
|источник

Всё ещё ищете ответ? Посмотрите другие вопросы с метками .