Шаблон сопоставления полей gnmap с помощью SED

Question

Я тестирую регулярное выражение, необходимое для создания извлечения полей с помощью Splunk для nmap, и думаю, что я могу быть рядом ...

Пример полной строки:

Host: 10.0.0.1 (host)   Ports: 21/open|filtered/tcp//ftp///, 22/open/tcp//ssh//OpenSSH 5.9p1 Debian 5ubuntu1 (protocol 2.0)/, 23/closed/tcp//telnet///, 80/open/tcp//http//Apache httpd 2.2.22 ((Ubuntu))/,  10000/closed/tcp//snet-sensor-mgmt///  OS: Linux 2.6.32 - 3.2  Seq Index: 257  IP ID Seq: All zeros

Я использовал подчеркивание "_" в качестве разделителя, потому что это немного облегчает чтение.

root@host:/# sed -n -e 's_\([0-9]\{1,5\}\/[^/]*\/[^/]*\/\/[^/]*\/\/[^/]*\/.\)_\n\1_pg' filename

То же регулярное выражение с удаленными escape-символами:

root@host:/# sed -n -e 's_\([0-9]\{1,5\}/[^/]*/[^/]*//[^/]*//[^/]*/.\)_\n\1_pg' filename

Выход:

... ... ...
Host: 10.0.0.1 (host)   Ports: 
21/open|filtered/tcp//ftp///, 
22/open/tcp//ssh//OpenSSH 2.0p1 Debian 2ubuntu1 (protocol 2.0)/, 
23/closed/tcp//telnet///, 
80/open/tcp//http//Apache httpd 5.4.32 ((Ubuntu))/, 
10000/closed/tcp//snet-sensor-mgmt///   OS: Linux 9.8.76 - 7.3  Seq Index: 257 IPID Seq: All zeros
... ... ...

Как вы можете видеть, сопоставление с образцом работает, хотя я не могу:

1 - соответствует шаблону в конце строки (запятая и белый / табуляция). Последняя строка содержит нежелательный текст (в этом случае информация о времени ОС и TCP). Логическое "ИЛИ" для двух символов (запятая и пробел), похоже, не совпадает.

...(\,|\s)

а также

2 - удалить любые ненужные данные - т.е. напечатать только соответствующий шаблон. Это на самом деле печать всей линии. Если я уберу флаг sed -n, оставшееся содержимое файла также будет напечатано. Я не могу найти способ печатать только совпадающее регулярное выражение.

то есть, почему, когда я явно говорю это не, sed печатает эти строки? =>

Host: 10.0.0.1 (host) Ports:

а также

OS: Linux 2.6.32 - 3.2  Seq Index: 257  IP ID Seq: All zeros

Будучи довольно новым для sed и regex, любая помощь или указатели очень ценятся!

Answer 1

Во-первых, я бы посоветовал вам взглянуть на вывод XML Nmap (доступен с флагом -oX), который официально поддерживается машиночитаемым форматом вывода. Выходные данные Greppable (-oG или .gnmap) устарели и поэтому не содержат полезной информации о новых функциях Nmap, таких как traceroute и NSE-скрипты.

Чтобы ответить на ваши вопросы напрямую,

1. проблема с соответствием запятой или пробелом вызывает ошибки, потому что символ альтернативной трубы (|) должен быть экранирован, а не запятая. Кроме того, вы, вероятно, всегда хотите использовать символ пробела, но только иногда запятую. Вот как я бы это сделал:

   ,\?\s
   

Я не использую группирование, так как нет чередования ("или" труба).

2. sed не печатает ненужные "линии", а печатает пространство шаблона. Информационная страница sed объясняет, как работает sed, и является отличным справочником для написания скриптов sed. По сути, у вас есть 2 пробела для работы, и sed будет печатать все содержимое пространства шаблонов при использовании команды p .

В качестве примера того, как вы можете это сделать, вот мой пример сценария sed для печати только информации о порте из файла .gnmap :

#!/usr/bin/sed -n 

#First, strip the beginning (Host and Ports labels) off
s/.*Ports: //

#Now match a port entry, consuming the optional comma and whitespace
#The comma and whitespace are replaced with a newline
s_\([0-9]\{1,5\}/[^/]*/[^/]*/[^/]*/[^/]*/[^/]*/[^/]*/\),\?\s_\1\n_

#If we made a successful substitution, jump to :matched, 
t matched
#otherwise skip to the next input line
d

:matched
#Print the pattern space up to the first newline
P
#Then delete up to the first newline and start over with what's left
D

Все вместе в одну строку, это будет выглядеть примерно так:

sed -n -e 's/.*Ports: //;s_\([0-9]\{1,5\}/[^/]*/[^/]*/[^/]*/[^/]*/[^/]*/[^/]*/\),\?\s_\1\n_;t matched;d;:matched;P;D' file.gnmap

Также обратите внимание, что вы не можете рассчитывать на то, что некоторые поля в спецификации порта всегда будут пустыми. Например, если обнаружение версии было выполнено в службе RPC, будет заполнено информационное поле SunRPC.