tar/bz2 сжимает файл, удаляя несжатый оригинал

Question

Есть ли способ превратить каталог с именем dir1 в dir1.tar.bz2 без сохранения оригинала? Мне нужно сэкономить место и сжать несколько больших файлов, но у меня недостаточно места для хранения сжатой копии и оригинала. Есть ли способ напрямую преобразовать существующий файл в архив?

Answer 1

tar не может этого сделать, но вы можете добиться того, чего хотите:

find dir1 -depth -print0 | xargs -0 tar --create --no-recursion --remove-file --file - | bzip2 > dir1.tar.bz2

где:

• find dir1 -depth -print0

  перечисляет все файлы и каталоги в dir1 , перечисляя содержимое каталога перед самим каталогом (-depth). Использование -print0 (и -0 в xargs ниже) является ключом к поддержке имен каталогов и файлов со встроенными пробелами.

• xargs -0 tar --create --no-recursion --remove-file --file -

  создает архив tar и добавляет в него каждый файл или каталог. Архив tar отправляется на стандартный вывод с параметром --file - .

• bzip2 > dir1.tar.bz2

  сжимает архив tar из стандартного ввода в файл с именем dir1.tar.bz2 .

Требуемое количество свободного дискового пространства соответствует размеру самого большого сжатого файла в dir1 поскольку tar при обработке файла ожидает завершения архивирования, а затем удаляет его. Поскольку tar на короткое время передается по каналу bzip2 , прежде чем tar удалит его, каждый файл находится в двух местах: несжатый в файловой системе и сжатый внутри dir1.tar.bz2 .

Мне было любопытно посмотреть, как использовалось дисковое пространство, поэтому я провел этот эксперимент на своей Ubuntu VM:

1. Создайте файловую систему объемом 1 ГБ:

   $ dd if=/dev/zero of=/tmp/1gb bs=1M count=1024
   $ losetup /dev/loop0 /tmp/1gb
   $ mkfs.ext3 /dev/loop0
   $ sudo mount /dev/loop0 /tmp/mnt
   $ df -h
   Filesystem      Size  Used Avail Use% Mounted on
   /dev/loop0     1008M   34M  924M   4% /tmp/mnt
   

2. Заполните файловую систему 900 1-мегабайтными файлами:

   $ chown jaume /tmp/mnt
   $ mkdir /tmp/mnt/dir1
   $ for (( i=0; i<900; i++ )); do dd if=/dev/urandom of=/tmp/mnt/dir1/file$i bs=1M count=1; done
   $ chown -R jaume /tmp/mnt
   $ df -h
   Filesystem      Size  Used Avail Use% Mounted on
   /dev/loop0     1008M  937M   20M  98% /tmp/mnt
   

   Файловая система теперь заполнена на 98%.

3. Сделайте копию dir1 для последующей проверки:

   $ cp -a /tmp/mnt/dir1 /tmp/dir1-check
   

4. Сжать dir1:

   $ ls /tmp/mnt
   dir1  lost+found
   $ find /tmp/mnt/dir1 -depth -print0 | xargs -0 tar --create --no-recursion --remove-file --file - | bzip2 > /tmp/mnt/dir1.tar.bz2
   $
   

   Обратите внимание, что команды выполнялись без ошибок «на устройстве не осталось места».

   dir1 был удален, существует только dir1.tar.bz2:

   $ ls /tmp/mnt
   dir1.tar.bz2  lost+found
   

5. Разверните dir1.tar.bz2 и сравните с /tmp/dir1-check:

   $ tar --extract --file dir1.tar.bz2 --bzip2 --directory /tmp
   $ diff -s /tmp/dir1 /tmp/dir1-check
   (...)
   Files /tmp/dir1/file97 and /tmp/dir1-check/file97 are identical
   Files /tmp/dir1/file98 and /tmp/dir1-check/file98 are identical
   Files /tmp/dir1/file99 and /tmp/dir1-check/file99 are identical
   $
   

   Копия dir1 и несжатый dir1.tar.bz2 идентичны!

Это может быть обобщено в сценарии:

1. Создайте файл с именем tarrm (или любое другое имя по вашему вкусу) с таким содержанием:

   #!/bin/bash
   
   # This program is free software: you can redistribute it and/or modify it under the terms of the GNU General Public License as published by the Free Software Foundation, either version 3 of the License, or (at your option) any later version.
   # This program is distributed in the hope that it will be useful, but WITHOUT ANY WARRANTY; without even the implied warranty of MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License for more details.
   # You should have received a copy of the GNU General Public License along with this program.  If not, see <http://www.gnu.org/licenses/>.
   
   # dir is first argument
   dir="$1"
   # check dir exists
   if [ ! -d "$dir" ]; then
       echo "$(basename $0): error: '$dir' doesn't exist" 1>&2
       exit 1
   fi
   # check if tar file exists
   if [ -f "${dir}.tar" -o -f "${dir}.tar.bz2" ]; then
       echo "$(basename $0): error: '$dir.tar' or '${dir}.tar.bz2' already exist" 1>&2
       exit 1
   fi
   
   # --keep is second argument
   if [ "X$2" == "X--keep" ]; then
       # keep mode
       removefile=""
       echo " Tarring '$dir'"
   else
       removefile="--remove-file"
       echo " Tarring and **deleting** '$dir'"
   fi
   
   # normalize directory name (for example, /home/jaume//// is a legal directory name, but will break ${dir}.tar.bz2 - it needs to be converted to /home/jaume)
   dir=$(dirname "$dir")/$(basename "$dir")
   
   # create compressed tar archive and delete files after adding them to it
   find "$dir" -depth -print0 | xargs -0 tar --create --no-recursion $removefile --file - | bzip2 > "${dir}.tar.bz2"
   
   # return status of last executed command
   if [ $? -ne 0 ]; then
       echo "$(basename $0): error while creating '${dir}.tar.bz2'" 1>&2
   fi
   

2. Сделайте его исполняемым:

   chmod a+x tarrm

Сценарий выполняет базовую проверку ошибок: dir1 должен существовать, dir1.tar.bz2 и dir1.tar не должны существовать и имеют режим хранения . Он также поддерживает имена каталогов и файлов со встроенными пробелами.

Я протестировал скрипт, но не могу гарантировать, что он безупречен, поэтому сначала используйте его в режиме хранения:

./tarrm dir1 --keep

Этот вызов добавит dir1 в dir1.tar.bz2 но не удалит каталог.

Когда вы доверяете сценарию, используйте его так:

./tarrm dir1

Скрипт сообщит вам, что dir1 будет удален в процессе его архивирования:

Tarring and **deleting** 'dir1'

Например:

$ ls -lF
total 4
drwxrwxr-x 3 jaume jaume 4096 2013-10-11 11:00 dir 1/
$ find "dir 1"
dir 1
dir 1/subdir 1
dir 1/subdir 1/file 1
dir 1/file 1
$ /tmp/tarrm dir\ 1/
 Tarring and **deleting** 'dir 1/'
$ echo $?
0
$ ls -lF
total 4
-rw-rw-r-- 1 jaume jaume 181 2013-10-11 11:00 dir 1.tar.bz2
$ tar --list --file dir\ 1.tar.bz2 
dir 1/subdir 1/file 1
dir 1/subdir 1/
dir 1/file 1
dir 1/