Я хочу использовать TAR и максимально эффективно сжимать домашний каталог пользователя. Проблема в том, что в домашнем каталоге этого пользователя есть много больших и уже сжатых (gzip/bzip2) и трудно сжимаемых файлов (двоичных файлов / данных), а также много простых для сжатия файлов (исходный код). Можно ли пропустить сжатие уже сжатых и / или трудно сжимаемых файлов, сжимая только легкие файлы?
Основная цель - максимизировать передачу данных для сети GigE через что-то вроде:
tar cf - path | gzip -c | nc host port
Если я вообще не сжимаю, горлышко бутылки - это сеть. Если я сожму, горлышко бутылки - это время процессора. Дисковый ввод-вывод не является проблемой. Каталог составляет около 150 ТБ, но я застрял с одним путем GigE.