Почему bzip2 и gzip портят большие файлы heapdump и можно ли обойти это?

Question

Я пытаюсь проанализировать дампы кучи с сервера, которые являются довольно большими файлами (10-15 ГБ). Я создаю эти файлы на сервере и хочу проанализировать их на своем компьютере, поэтому для их загрузки я попытался сжать их как с помощью bzip, так и gzip. Обе программы постоянно создают поврежденные файлы, которые они больше не могут распаковывать.

Я использую ext3 с размером блока 4 КиБ, поэтому ограничение размера файла должно быть 2 ТиБ и, следовательно, не имеет значения в моем случае. Я использую gzip 1.3.12 и bzip 1.0.5 на Ubuntu Jaunty, 64-битная серверная версия, в основном в ванильном состоянии (добавлены только некоторые пакеты, ничего особенного).

Работает RAID-1, но он не сообщает о проблемах синхронизации или задержках.

Дампы создаются с помощью jmap.

Есть ли какой-то конкретный тип данных, который заставляет эти программы задыхаться?

Является ли размер проблемой?

Что я могу попытаться узнать больше или обойти проблему?

Answer 1

Если это более одного файла, попробуйте сначала поместить их в архив tar

tar czvf dumps.tar.gz file1 file2

или для сжатия bzip

tar cjvf dumps.tar.bz2 file1 file2

У меня никогда не было проблем с любым методом на многочисленных системах и файловых системах.

Также будет работать на 1 файл, конечно!

Answer 2

В версиях gzip 1.2.4 и старше возникают проблемы с распаковкой файлов размером более 4 ГБ (см .: http://www.gzip.org/#faq10).

Согласно журналу изменений bzip2, похоже, что до версии 1.0.0 у него были некоторые проблемы с большими файлами.