Вопросы с меткой [awk]

AWK - это язык обработки текста. Он в основном используется для манипулирования и обработки структурированных данных, а также для генерации отчетов.

57
голосов
8ответов
98k показов

Как узнать длительность видео в секундах?

Как я могу получить продолжительность видео в секундах? Что я пробовал: ffmpeg -i file.flv 2>&1 | grep "Duration" Duration: 00:39:43.08, start: 0.040000, bitrate: 386 kb/s mediainfo file.flv | grep ...
52
голоса
9ответов
36k показов

Удаление цветовых кодов ANSI из текстового потока

Изучение выходных от perl -e 'use Term::ANSIColor; print color "white"; print "ABC\n"; print color "reset";' в текстовом редакторе (например, vi) отображается следующее: ^[[37mABC ^[[0m Как можно ...
32
голоса
8ответов
27k показов

sed: как заменить строку, если найдена, или добавить в конец файла, если не найдена?

С одним входным файлом, который содержит только комментарии (начиная с #) и строки VARIABLE = значение, возможно ли заменить значение для одной переменной, если оно найдено, и, в противном случае, ...
29
голосов
5ответов
14k показов

awk, mawk, nawk, gawk ... ЧТО?

Я только начал изучать awk и немного запутался во всех этих версиях. Есть ли какая-либо "версия", которая встречается во всех Unix-подобных системах? Как, вы знаете, простой ви? Стандартный awk ...
21
голос
6ответов
53k показов

Как получить pid запущенного процесса, используя одну команду, которая анализирует вывод ps?

Я ищу одну строку, которая возвращает pid запущенного процесса. В настоящее время у меня есть: ps -A -o pid,cmd|grep xxx|head -n 1 И это возвращает первый кулак pid, command . Мне нужно только первое ...
14
голосов
3ответа
17k показов

Как я могу создать оглавление для документа уценки с помощью Python/AWK/SED?

У меня есть следующий документ по уценке: Heading-a ========== ---text--- Heading-b ------------ --- text --- Heading-c ---------- --- text--- Heading-d ======= --- text---- Heading-e --- ... Я хотел ...
11
голосов
3ответа
18k показов

Фильтрация вывода верхней команды

Я использую Mac и хочу отфильтровать вывод команды top для определенного процесса, чтобы отображались только столбцы PID, COMMAND и% CPU. После получения PID процесса я запускаю: top -pid 1234 Однако ...
10
голосов
2ответа
15k показов

Как я могу определить не-ASCII символы из оболочки?

Существует ли простой способ печати всех не-ASCII-символов и номеров строк, в которых они встречаются в файле, с использованием таких утилит командной строки, как grep , awk , perl и т.д.? Я хочу ...
9
голосов
1ответ
10k показов

Как использовать awk-разделитель одинарных кавычек?

Я хотел бы использовать awk для извлечения информации из вывода SQL следующим образом: (count(отличный класс сервера)= '2') И нужно извлечь число, которое равно 2 в этом примере. Я хотел бы сделать ...
9
голосов
1ответ
10k показов

Awk не работает в двойных кавычках

Эта команда не работает: ssh $HOST "ls -l | awk '{print $1}'"` Выше игнорирует команду awk . Я думаю, что это может быть из-за двойных кавычек? Кроме того, как бы я добавил еще один набор двойных ...
9
голосов
2ответа
11k показов

Как я могу найти свою версию awk?

Если я хочу узнать версию awk, я получу следующее: $ awk --version awk: not an option: --version Проверяя в man awk я вижу, что мой awk mawk - язык сканирования шаблонов и обработки текста
9
голосов
4ответа
11k показов

Как передать вывод awk (с периодическим, непрерывным вводом) в выходной файл?

Я пытаюсь написать команду, которая направляет непрерывный вывод свободной команды (запускается каждую секунду) в команду awk, которая анализирует определенное значение (доступную свободную память) и ...
9
голосов
2ответа
24k показов

заменить n-й вхождение строки в каждой строке текстового файла

У меня есть большие текстовые файлы с разделителями пробелами (2-5). Строки могут содержать «» или «-». Я хотел бы заменить, скажем, второе пространство на трубу. Какой лучший путь? Используя sed, я ...
9
голосов
6ответов
13k показов

Случайно перемешать строки в большом текстовом файле

У меня есть текстовый файл ~ 1 ГБ с около 6 тыс. Строк (каждая строка очень длинная), и мне нужно случайным образом перемешать его строки. Является ли это возможным? Возможно с awk?
8
голосов
1ответ
16k показов

Подсчет вхождений в первом столбце файла

У нас есть этот файл: 1 2 1 3 1 2 3 3 52 1 52 300 и еще 1000. Я хочу посчитать, сколько раз каждое значение встречается в первом столбце. 1 3 3 1 52 2 Это означает, что мы видели 1 три раза. Как я ...
7
голосов
3ответа
10k показов

Как кошка / распечатать файл, кроме последних 2 строк?

Как получить файл, кроме последних (например) 2 строк, стандартными инструментами или инструментами оболочки GNU? (удар, хвост, кошка и т. д.)
7
голосов
3ответа
13k показов

Трубный хвост -f в awk

Я пытаюсь направить tail -f в awk для мониторинга файла журнала в режиме реального времени, но в соответствии с примерами проблем не должно быть, но я не могу заставить его работать. вот команда, ...
7
голосов
4ответа
45k показов

Вывести строку X строк до / после найденной строки

Я хочу найти определенную строку в определенном файле. Если я нашел строку, я также хочу напечатать строки X строк до (или после) этой строки. Можно это с помощью grep или awk, или мне нужна ...
7
голосов
5ответов
6k показов

Использование awk для разделения текстового файла каждые 10 000 строк

У меня большой текстовый файл gzip. Я хотел бы что-то вроде: zcat BIGFILE.GZ | \ awk (snag 10,000 lines and redirect to...) | \ gzip -9 smallerPartFile.gz часть awk, я хочу, чтобы она взяла 10000 ...
7
голосов
6ответов
1k показов

Присоединение текстовых файлов с 600M+ строк

У меня есть два файла, huge.txt и small.txt . Текст . huge.txt имеет около 600 миллионов строк и 14 ГБ. В каждой строке есть четыре слова (токены), разделенные пробелами, и, наконец, еще один столбец ...
7
голосов
4ответа
6k показов

SQL как группировка и сумма для текстовых файлов в командной строке?

У меня огромные текстовые файлы с двумя полями, первое - строка, второе - целое число. Файлы отсортированы по первому полю. То, что я хотел бы получить в выводе, это одна строка на уникальную строку ...
6
голосов
4ответа
8k показов

Распечатать обратную ссылку в регулярном выражении

Я надеялся на способ заставить sed заменить всю строку заменой (а не просто соответствием), чтобы я мог сделать что-то вроде этого: sed -e "/$some_complex_regex_with_a_backref/\1/" и пусть он ...
6
голосов
1ответ
3k показов

Использование '(' (пробел с круглыми скобками) в качестве разделителя полей в awk

В сценарии awk я пытаюсь использовать '(' в качестве разделителя полей. Однако, если я не уйду в скобки с двойной обратной косой чертой, вот так: BEGIN {FS=" \\("} это не работает. Если я использую ...
5
голосов
1ответ
1k показов

stdbuf не работает, а unbuffer делает

Я пытаюсь применить временные метки на стандартный вывод процесса. Для надлежащих временных меток , которые будут применяться, я пытаюсь unbuffer стандартного вывода процесса. Это работает с unbuffer ...
5
голосов
5ответов
637 показов

Как связать операторы awk print?

Хорошо, вот быстрый пример; изолировать IPV4 хоста в три этапа: ip -br a lo UNKNOWN 127.0.0.1/8 ::1/128 eth0 DOWN wlan0 UP 192.168.0.101/24 fe80::9fcd:45fb:1e0f:a1cc/64 ip -br a | awk '/wlan0/ {print ...
5
голосов
3ответа
2k показов

как ограничить вывод команды find, используемый с опцией -print0

Я хотел бы ограничить вывод команды find. В прошлом я использовал для этой команды ls, например: ls *tgz|head -100|xargs -i mv "{}" ../ но я узнал, что результат может быть непредсказуемым, если имя ...
5
голосов
4ответа
43k показов

Эквивалентная функциональность AWK в Windows

Мне нужно устранить некоторые проблемы на клиентском ПК, на которые я не могу установить дополнительное программное обеспечение, и мне нужна базовая функциональность awk на windows xp & 7. По сути, ...
5
голосов
3ответа
976 показов

Поиск файлов с более чем одним термином (grep, awk?)

Я использую команду, подобную этой, чтобы найти файлы со словом «термин» в них: grep -l term * Но теперь я хочу найти файлы, в которых есть два разных слова (назовем их termA и termB) - не ...
5
голосов
1ответ
3k показов

Как разбить двоичный файл на основе шаблона?

Я хотел бы разбить двоичный файл на более мелкие файлы на основе шаблона «xÚ» (это 78 DA в шестнадцатеричном формате), поэтому, когда в файле есть «xÚ», сценарий сплиттера разделяет и вставляет ...
4
голоса
4ответа
4k показов

sudo, чтобы убить вывод ps, awk, xargs

Я хочу убить корневые процессы, содержащие foo в имени процесса sudo sh -c "ps aux | grep [f]oo | awk '{print $2}' | xargs kill -15" эта команда не выполняется, поскольку awk и xargs игнорируются. ...
4
голоса
3ответа
10k показов

awk соответствует целому слову

Я хочу использовать awk для сопоставления целых слов из текстового файла. Включая слова, ограниченные не буквенно-цифровыми символами. Например - строка для поиска - ABC Исходный файл - HHHABCCCCH ...
4
голоса
1ответ
868 показов

Разобрать вывод df по столбцам

У меня возникают трудности при извлечении файловой системы и монтирования на столбцах из вывода df. $df -Hl Результаты в Filesystem Size Used Avail Capacity iused ifree %iused Mounted on /dev/disk1 ...
4
голоса
5ответов
25k показов

Как разбить текстовый файл на несколько текстовых файлов

У меня есть текстовый файл с именем entry.txt который содержит следующее: [ entry1 ] 1239 1240 1242 1391 1392 1394 1486 1487 1489 1600 1601 1603 1657 1658 1660 2075 2076 2078 2322 2323 2325 2740 2741 ...
4
голоса
1ответ
100 показов

написание команды AWK

Мой входной файл имеет три столбца, как показано ниже Входной файл: water 123 wa water 123 at water 123 te water 123 er rater 347 ra rater 347 at rater 347 te rater 347 er Теперь я хочу, чтобы мой ...
4
голоса
5ответов
2k показов

ошибка при использовании командной строки в качестве псевдонима bash в linux

Я хочу сохранить следующую последовательность командной строки как псевдоним bash: grep `date '+%d/%b/%Y'` access.logs | egrep 2765330645ae47d292c9ceac725d744e.py |awk '{print $1, $4, $5, $7, $8, $9, ...
4
голоса
1ответ
2k показов

Как мне разобрать пути к файлам, разделенные пробелом в строке?

Справочная информация: я работаю в Automator над оболочкой для утилиты командной строки. Мне нужен способ отделить произвольное количество путей к файлам, разделенных одним пробелом, от одной строки, ...
4
голоса
4ответа
11k показов

извлечение подстроки из результата grep

Учитывая файл журнала, я обычно делаю что-то вроде этого: grep 'marker-1234' filter_log Какая разница в использовании «» или «» или ничего в шаблоне? Приведенная выше команда grep выдаст много тысяч ...
4
голоса
1ответ
873 показов

Как перемещать файлы, используя результат "ls -al" в Linux?

Как я могу написать скрипт для копирования файлов из одного каталога в другой в соответствии с датой последнего изменения? ls -al -rw-р - r-- пользователь 1 пользователь 100 2011-05- 26 12:33 ABC1234 ...
4
голоса
2ответа
2k показов

Замените разрывы строк на совпадающих строках, используя AWK

У меня есть следующие данные То, что я хотел бы сделать, это для каждой строки, где нет "555" в конце, я хочу удалить разрыв строки, \n, и заменить его пробелом. Таким образом, "совпадающая линия" ...
4
голоса
1ответ
10k показов

Использование grep для удаления строк из файла, которые содержат строку из другого файла

У меня есть файл, содержащий слова (по одному в строке), такие как Собака Рыба Кошка обувь У меня есть дополнительный файл в формате CSV, такой как 1, обувь, красный 2, яблоко, черный 3, туман, синий ...
4
голоса
6ответов
17k показов

Трубный вывод awk убить -9

Я пытаюсь убить любой процесс, связанный с MySQL. Я собираю команду, и до сих пор не нашел правильного решения. Еще одно соображение заключается в том, что последний процесс будет соответствовать ...
4
голоса
4ответа
7k показов

Использование grep для отображения второго символа в строке?

У меня есть строка, которая всегда 3 символа ... первый и последний всегда одинаковы. пример: ▁▅█ Есть ли простой способ показать только один в середине? (который единственный, который меняется)
4
голоса
1ответ
682 показов

Grep все тело функции

Предположим, я знаю, что someFile.php содержит определение для someFunction() . Как бы я мог отобразить все тело функции в stdout? Если бы я знал, что тело имеет длину 10 строк, я бы использовал cat ...
4
голоса
1ответ
11k показов

"Нет такого файла или каталога" для /bin /awk в Ubuntu

Как я могу установить awk в этой версии Ubuntu 11? Я установил его из Ubuntu Software Center и не могу его использовать. Я пытаюсь запустить скрипт awk: #!/bin/awk Begin { print strftime("ora %H, %M ...
4
голоса
2ответа
6k показов

Unix однострочная для цитирования всех слов в строке

У меня есть текстовый файл, в котором есть строки, состоящие из слов (разделенных пробелами), и я хочу поставить кавычки вокруг всех слов. Например: Lorem ipsum dolor sit amet consectetur adipisicing ...
4
голоса
1ответ
6k показов

Чтение вывода команды оболочки в скрипте awk

У меня есть текстовый файл со списком IP-адресов и другой информацией. Я использую скрипт awk для обработки этого списка и вывода различных вычислений. Я хочу вызвать dig -x из скрипта awk и ...
4
голоса
3ответа
2k показов

linux - заменить все двойные символы новой строки пробелом

Можно ли заменить только двойные символы новой строки в текстовом файле, используя sed, awk, grep, tr или что-то еще? this is data this is more data Что мне нужно сделать, это заменить все двойные ...
4
голоса
3ответа
102 показов

Вывод чисел из файла в другом порядке

У меня есть файл, который содержит: 1 2 3 4 1 3 5 4 8 3 2 1 Каждая строка имеет разное количество цифр. И есть еще 1000, как это. Я хочу вывод, как это: 1 2 2 3 3 4 4 0 1 3 3 5 5 4 4 8 8 0 3 2 2 1 1 ...
3
голоса
1ответ
671 показов

Печать всех столбцов после 5-го с помощью awk

Я использую это, чтобы отфильтровать файл журнала, и я пытаюсь втиснуть на консоль как можно больше важных деталей: awk -F " " '{$1=$2=$4=$5=$6=$7=""; print $0}' Это мой исходный материал: ...
3
голоса
5ответов
5k показов

Как удалить строки из большого текстового файла, используя bash

Я получил огромный текстовый файл (файл журнала) в моем CentOS, который я хотел бы удалить верхнюю часть, возможно, пару тысяч строк в день. (Или, возможно, просто разделить на две части) Я провел ...