Что не так с моим скриптом bash, чтобы сохранить последние x-файлы и удалить остальные?

Question

У меня есть сценарий bash, который хорошо создает резервную копию моей базы данных по расписанию cron:

#!/bin/sh

PT_MYSQLDUMPPATH=/usr/bin
PT_HOMEPATH=/home/philosop
PT_TOOLPATH=$PT_HOMEPATH/philosophy-tools
PT_MYSQLBACKUPPATH=$PT_TOOLPATH/mysql-backups
PT_MYSQLUSER=*********
PT_MYSQLPASSWORD="********"
PT_MYSQLDATABASE=*********
PT_BACKUPDATETIME=`date +%s`
PT_BACKUPFILENAME=mysqlbackup_$PT_BACKUPDATETIME.sql.gz
PT_FILESTOKEEP=14

$PT_MYSQLDUMPPATH/mysqldump -u$PT_MYSQLUSER -p$PT_MYSQLPASSWORD --opt $PT_MYSQLDATABASE | gzip -c > $PT_MYSQLBACKUPPATH/$PT_BACKUPFILENAME

Проблема в том, что он будет продолжать сбрасывать резервные копии в папку, а не очищать старые файлы. Это где переменная PT_FILESTOKEEP входит. Независимо от того, какое число это установлено, это количество резервных копий, которое я хочу сохранить. Все резервные копии имеют временную отметку, поэтому, упорядочив их по имени DESC, вы получите самую последнюю.

Может кто-нибудь помочь мне с остальной частью сценария BASH, чтобы добавить очистку файлов? Мои знания bash отсутствуют, и я не могу собрать воедино код, чтобы сделать все остальное.

Answer 1

Вы можете попробовать это:

ls -r1 $PT_MYSQLBACKUPPATH/ | tail -n +$(($PT_FILESTOKEEP+1)) | xargs rm

ls -r1 выведет список всех файлов в обратном порядке, по одному файлу на строку.

tail -n +$number отфильтровывает первые файлы $ number-1 из списка (соответственно отображает все файлы, начиная с $ number до последнего).

xargs выполнит rm со всеми именами файлов из стандартного ввода.

Answer 2

Во-первых, убедитесь, что вы находитесь в нужной папке:

if [ -z $PT_MYSQLBACKUPPATH ]; then
 echo "No PT_MYSQLBACKUPPATH set. Exit"
 exit 1
fi
cd $PT_MYSQLBACKUPPATH
if [ $? != 0 ]; then
 echo "cd to PT_MYSQLBACKUPPATH failed. Exit"
 exit 1
fi

Вы можете удалить файлы старше n, в вашем случае:

find -mtime +14 -delete

Удаляет файлы старше 14 дней.

Более сложное (определенно не оптимальное) решение вашего вопроса:

# Get list of newest files. If newest files are first, use head -n 14 instead of 
# head.
files=(`ls | sort | tail -n 14`)
# Loop over all files in this folder
for i in *; do 
 preserve=0; 
 #Check whether this file is in files array:
 for a in ${files[@]}; do 
  if [ $i == $a ]; then 
   preserve=1; 
  fi; 
 done; 
 # If it wasn't, delete it (or in this case, print filename)
 if [ $preserve == 0 ]; then 
  echo $i; # test first, then change this to "rm $i"
 fi;
done

Answer 3

Вот мое использование вдохновения из этого поста:

#!/bin/bash
# Thu Jun 28 13:22:53 CEST 2012
# ${DESTDIR}/files2keep.sh
# Keep the 3 yungest files
# mra at miracleas.dk , deployed on RHEL 6.
InitValues(){
TODAY=`date +"%Y%m%d"`
NOW=`date +"%H%M"`
DESTDIR=/mnt/dbdmp
LOGFILE=?{0}-${TODAY}-${NOW}.log
}
BackupFileMaintenance(){
KEEPFILES=(`ls -lrt ${DESTDIR}/*mysqldump.sql.gz| tail -n 3| awk '{print $9}'`)
    for i in `ls -lrt ${DESTDIR}/*mysqldump.sql.gz | awk '{print $9}'`; do
    preserve=0 
    #Check whether this file is in files array:
        for a in ${KEEPFILES[@]}; do
                if [ $i == $a ]; then
                preserve=1 
                fi 
        done 
    if [ $preserve == 0 ]; then
    echo $i; # then change this to "rm -f $i" after test
    fi
    done
}
InitValues
BackupFileMaintenance
exit

Answer 4

Что касается ответа от bmk, когда доступно ls -t1 безопаснее, чем -r1 (сортировка по времени изменения, а не по произвольному порядку файлов)

Также в некоторых версиях хвостового синтаксиса есть tail -n +$number (необходима опция -n)

В качестве бонуса, комбинируя и find, и ls, вы можете удалить файлы старше 30 дней, но сохранить как минимум 15 файлов:

ls -t1 $PT_MYSQLBACKUPPATH/|tail -n +16| xargs -n1 basename|xargs -n1 -I{} find $PT_MYSQLBACKUPPATH/ -mtime +30 -name {} -delete

Answer 5

Извините, что снова открыл эту старую ветку, но у меня недавно была похожая проблема, и я не смог найти хорошего решения.

В конце концов я решил это так:

cd /directory_where_things_need_removing
ls -tr1dQ * | head -n -31 | xargs rm -rf

важными частями являются ls -tr1dQ, где Q указывает, решая проблему пробелов, и 1, которая дает 1 решение на строку head -n -31, который пропускает первые 31 строку (в моем случае = 1 месяц). обратите внимание на - перед n и перед тем количеством строк, которое вы хотите сохранить. протестировано на научной Linux 6,5

Answer 6

ls -t /path/* | grep -v "$(ls -t /path/* | head -6)" | xargs rm -f