Дифф Стоп после первой разницы

Question

Я хотел бы выполнить diff на 2 файлах и прекратить его при первой разнице. Конечно, я не требую, чтобы команда выполнялась через diff , но я требую, чтобы настоящая команда прекратилась, как только будет найдено и сообщено о первом различии. Я работаю с некоторыми очень большими файлами и ожидаю идеального совпадения, но все же хочу знать, в чем разница, если таковая будет найдена, поэтому diff -q , diff ... |head -1 и cmp не годятся , И, поскольку файлы очень большие, то, что не исчерпывает память, было бы хорошо. Хотя это и не нужно для моей текущей проблемы, бонусные баллы за решения, которые работают для первых (заданных пользователем) n различий, и для решений, которые могут игнорировать различия в пробелах.

Answer 1

cmp останавливается на первой разнице:

% cat foo
foo
bar
baz
---
foo
bar
baz
% cat bar
foo
bar
baz
---
foo+
bar+
baz+
% cmp foo bar
foo bar differ: byte 20, line 5
% 

Вы можете обернуть скрипт вокруг него, чтобы напечатать разные строки:

#! /bin/bash
line=$(cmp "$1" "$2" | awk '{print $NF}')
if [ ! -z $line ]; then
    awk -v file="$1" -v line=$line 'NR==line{print "In file "file": "$0; exit}' "$1"
    awk -v file="$2" -v line=$line 'NR==line{print "In file "file": "$0; exit}' "$2"
 fi

% ./script.sh foo bar
In file foo: foo
In file bar: foo+

Часть затрат теперь переносится на команды AWK, но это должно быть значительно быстрее, чем полная проверка обоих файлов.

Answer 2

Я проверил это в тривиальных случаях, но оставляю вам полевой тест:

$ cat f1
l1
l21 l22       l23  l24


l3
l4x
l5


$ cat f2
l1
l21 l22       l23

l3
l4y
l5



$ cat awkdiff.awk


BEGIN {
   maxdiff = 5
   ignoreemptylines = 1
   whitespaceaware = 1

   if (whitespaceaware) {
      emptypattern = "^[[:space:]]*$"
   } else {
      emptypattern = "^$"
      FS=""
   }

   f1 = ARGV[1]
   f2 = ARGV[2]

   rc1=rc2=1
   while( (rc1>0 && rc2>0 && diff<maxdiff)  ) {
      rc1 = getline l1 < f1 ; ++nr1
      rc2 = getline l2 < f2 ; ++nr2

      if (ignoreemptylines) {
         while ( l1 ~ emptypattern   &&  rc1>0) {
            rc1 = getline l1 < f1 ; ++nr1
         }

         while ( l2 ~ emptypattern  &&  rc2>0) {
            rc2 = getline l2 < f2 ; ++nr2
         }
      }


      if ( rc1>0 && rc2>0) {
         nf1 = split( l1, a1)
         nf2 = split( l2, a2)

         if ( nf1 <= nf2) {
            nfmin = nf1
         } else {
            nfmin = nf2
         }

         founddiff = 0
         for (i=1; i<=nfmin; ++i) {
            if ( a2[i]"" != a1[i]"") {
               printf "%d:%d:{%s} != %d:%d:{%s}\n", \
                  nr1, nf1, a1[i], nr2, nf2, a2[i]
               founddiff=1
               ++diff
               break
            }
         }

         if ( !founddiff  &&  nf1 != nf2) {
            if ( nf1 > nf2)
               printf "%d:%d:{%s} != %d:EOL\n", nr1, nfmin+1, a1[nfmin+1], nr2
            else
               printf "%d:EOL != %d:%d:{%s}\n", nr1, nr2, nfmin+1, a2[nfmin+1]
            ++diff
         }
      } else {
         if ( rc1 == -1 && rc2 == -1) {
            print "IO error"
         } else if ( rc1 == 1 && rc2 == 0) {
            print "%d:%s != EOL\n", nr1, l1
         } else if ( rc1 == 0 && rc2 == 1) {
            printf "EOL != %d:%s\n", nr2, l2
         }
      }
   }
}


$ awk -f awkdiff.awk  /tmp/f1 /tmp/f2
2:4:{l24} != 2:EOL
6:1:{l4x} != 5:1:{l4y}

maxdiff = N: устанавливает максимальное количество различий, при которых сравнение должно быть остановлено

ignoreemptylines = 1 | 0: указывает, следует ли игнорировать пустые строки при сравнении

whitespaceaware = 1 | 0: указывает, должно ли сравнение выполняться по словам (при условии, что последовательные пробелы равны) или по аналогии