если у меня есть файл .gz на Unix, который имеет определенное количество строк. Как я могу считать строки в Unix, не распаковывая его.
36
5 ответов
55
Очевидно, что вы не можете считать новые строки, если файл все еще сжат.
Но вы можете распаковать в поток и считать новые строки в этом потоке, даже не записывая (распакованный) файл на диск. Это будет примерно так:
zcat file.gz | wc -l
zcat для распаковки и cat, wc для подсчета слов. Смотрите man-страницы для обоих, если вы хотите узнать больше.
РЕДАКТИРОВАТЬ
Если у вас нет zcat, zcat - это просто другое имя для gunzip -c .
7
Это также, кажется, работает - grep для количества концовок в файле
zgrep -Ec "$" file.gz
5
Если вы хотите сделать это быстро, я рекомендую использовать "pigz" (что IIRC означает "Параллельная реализация GZip"). У меня просто была похожая ситуация, когда я хотел посчитать количество строк в куче gzip-файлов, и вот мое решение:
for x in *.gz; do unpigz -p 8 -c $x | wc -l && echo $x; done
Который дал мне количество строк и файл, который он рассчитывал на чередующихся строках, используя 8 процессоров. Это бежало быстро!
2
Используйте эту команду:
gzgrep -c $ filename.gz
Команда gzgrep действует так же, как grep но для сжатых файлов gzip. Он распаковывает файл на лету для соответствия регулярному выражению.
В этом случае -c дает команду команде вывести количество совпавших строк, а регулярное выражение $ соответствует концу строки, чтобы оно соответствовало каждой строке или файлу.
Окончательный результат идентичен gzip -dc filename.gz | grep -c $ .
1
Если вы согласны с грубой оценкой, а не с точным подсчетом, и на самом деле извлечение всего файла или zgrepping его для концов строк может занять слишком много времени (что было моей ситуацией только сейчас), вы можете:
zcat "$file" | head -1000 > 1000-line-sample.txt
ls -ls 1000-line-sample.txt "$file"
тогда приблизительное количество строк равно 1000 * (size of $file) / (size of 1000-line-sample) , если ваши данные достаточно однородны для каждой строки.