Как проверить файлы, имеющие уникальный контент?
if diff "$file1" "$file2" > /dev/null; then
...
Как мы можем получить список файлов в каталоге?
files="$( find ${files_dir} -type f )"
Мы можем получить любые 2 файла из этого списка и проверить, не отличаются ли их имена и содержимое.
#!/bin/bash
# removeDuplicates.sh
files_dir=$1
if [[ -z "$files_dir" ]]; then
echo "Error: files dir is undefined"
fi
files="$( find ${files_dir} -type f )"
for file1 in $files; do
for file2 in $files; do
# echo "checking $file1 and $file2"
if [[ "$file1" != "$file2" && -e "$file1" && -e "$file2" ]]; then
if diff "$file1" "$file2" > /dev/null; then
echo "$file1 and $file2 are duplicates"
rm -v "$file2"
fi
fi
done
done
Например, у нас есть каталог:
$> ls .tmp -1
all(2).txt
all.txt
file
text
text(2)
Таким образом, есть только 3 уникальных файла.
Давайте запустим этот скрипт:
$> ./removeDuplicates.sh .tmp/
.tmp/text(2) and .tmp/text are duplicates
removed `.tmp/text'
.tmp/all.txt and .tmp/all(2).txt are duplicates
removed `.tmp/all(2).txt'
И мы получаем только 3 файла.
$> ls .tmp/ -1
all.txt
file
text(2)