Извлечение содержимого из файла журнала за последние 5 минут

Question

Я пытался использовать команду awk для извлечения содержимого из файла журнала за последние 5 минут. Ниже была команда, которую я использую

`awk -v d1="$(date --date="-5 min" "+%m/%d/%y %k:%M:%S:%3N")" -v d2="$(date "+%m/%d/%y %k:%M:%S:%3N")" '$0 > d1 && $0 < d2 || $0 ~ d2' /tmp/test.log

Обнаружено условие '$0 > d1 && $0 < d2 || $0 ~ d2' работает только на определенных форматах даты. Формат даты в моем журнале приведен ниже:[2/9/17 13:30:35:552 EST] Команда, которую я запускал выше, не работала ..

Но когда я тестировал другой формат даты, как показано ниже:9 февраля 14:01

условие сработало.

awk -v d1="$(date --date="-30 min" "+%b %_d %H:%M")" -v d2="$(date "+%b %_d %H:%M")" '$0 > d1 && $0 < d2 || $0 ~ d2' /tmp/test2.log

Есть идеи, почему условие не работает в этом формате даты [9/9/17 13:30:35:552 EST]?

Answer 1

Скажем, [2/9/17 13:30:35:552 EST] - это формат, поэтому 17 означает всегда 2017 и преобразование часового пояса не является проблемой (EST игнорируется).

Допустим, это пример журнала:

$ cat test.log 
[2/1/17 10:30:35:000 EST] a
[2/2/17 13:30:31:553 EST] bbb
[2/9/17 09:00:00:000 EST] ccc
[2/9/17 13:30:33:657 EST] ddd

Я думаю, что вы хотели бы что-то вроде этого:

$ ./calc.sh '2017-02-01 10:00:00' 2017-02-03
[2/1/17 10:30:35:000 EST] a
[2/2/17 13:30:31:553 EST] bbb

$ ./calc.sh '1 Feb 2017' now
[2/1/17 10:30:35:000 EST] a
[2/2/17 13:30:31:553 EST] bbb
[2/9/17 09:00:00:000 EST] ccc
[2/9/17 13:30:33:657 EST] ddd

$ ./calc.sh '5 Feb 2017' now
[2/9/17 09:00:00:000 EST] ccc
[2/9/17 13:30:33:657 EST] ddd

Это моё решение (для ясности дополнено множеством переменных):

$ cat calc.sh 
#!/bin/bash

awk -v d1="$(date +%s --date="$1")" -v d2="$(date +%s --date="$2")" '
{
    tDate = substr($1, 2)
    split(tDate, dToken, "/")
    month = dToken[1]
    day = dToken[2]
    year = "20"dToken[3]

    tTime = $2
    tTZ = substr($3, 1, length($3) - 1)
    split(tTime, tToken, ":")
    hh = tToken[1]
    mm = tToken[2]
    ss = tToken[3]

    ts = mktime(year" "month" "day" "hh" "mm" "ss)

    # maybe >= and <= would be better
    if ((ts > d1) && (ts < d2)) {
        print
    }
}
' test.log