1

Мы используем hadoop, чтобы разбить таблицу на более мелкие файлы для передачи в mahout, но в процессе мы создали огромное количество _временных журналов.

У нас есть монтирование NFS для тома hadoop, поэтому мы можем использовать все команды linux для удаления файлов папок, но мы просто не можем их удалить, вот что я пробовал до сих пор:

hadoop fs -rmr /.../_temporary  : hangs for hours and does nothing

на монтировании NFS:

rmr -rf /.../_temporary :hangs for hours and does nothing

find . -name '*.*' -type f -delete : same as above

Папки выглядят так (38 из этих папок внутри _tevent):

drwxr-xr-x 319324 user user 319322 Oct 24 12:12 _attempt_201310221525_0404_r_000000_0

Содержимое этих файлов - фактически папки, а не файлы. Каждая из этих 319322 папок имеет ровно один файл внутри. Не уверен, почему ведение журнала таким образом.

1 ответ1

1

Работает ли rm , rm -r или rmdir с отдельным файлом или каталогом соответственно?

Если так, то держу пари, что вы ожидаете, что NFS отсортирует имена папок 319222 и представит их в алфавитном порядке. Попробуй ls -f | xargs rm -r

Всё ещё ищете ответ? Посмотрите другие вопросы с метками .