2

У меня есть PDF-документ, который был создан путем объединения (огромного количества) небольших документов. Например, 1.pdf, 2.pdf и 3.pdf. Проблема в том, что последняя страница 1.pdf также является первой страницей 2.pdf, а предыдущая страница 2.pdf также является первой ... вы поняли идею.

Итак, после присоединения я получил документ в формате PDF с большим количеством дублирующих страниц. И документ имеет около 12000 страниц (!!). Есть ли способ автоматически обнаруживать дубликаты страниц и удалять их?

Или есть идеи, как сделать это немного проще?

2 ответа2

4

Если ваши "идентичные" страницы отображаются на экране одинаково визуально, следующий алгоритмический подход может помочь найти дубликаты:

  1. Конвертируйте каждую страницу в файл формата TIFF или JPEG с низким разрешением, используя Ghostscript (например, 72 dpi).
  2. Если вы используете TIFF: запустите одну из утилит командной строки libtiff, чтобы "нормализовать" метаданные TIFF.
  3. Запустите md5sum.exe на каждой странице TIFF или JPEG и запомните Md5sum для каждой страницы.
  4. Сортируйте список сумм MD5, чтобы найти дубликаты страниц.
  5. Запомните все повторяющиеся номера страниц, которые будут удалены.
  6. Запустите pdftk.exe в исходном PDF- файле, чтобы удалить дубликаты.

Вы можете написать этот алгоритм на любом языке, который вам нравится (даже в пакетном режиме в Windows или в bash в Linux/Unix/MacOSX).

Первое: некоторые заметки по использованию Ghostscript. Создайте свои 1200 страниц TIFF (или JPEG) (в Linux вы бы использовали gs вместо gswin32c):

gswin32c.exe ^
      -dBATCH -dNOPAUSE -dSAFER ^
      -sDEVICE=tiffg4 ^
      -sOutputFile=C:\temp\tiffs\page-%06d.tif ^
      -r72x72 ^
      12000pages.pdf ^
# use -sDEVICE=jpeg to create *.jpeg files + adapt -sOutputFile= accordingly
# page-%06d.tif creates TIFFs named page-000001.tif through page-012000.tif* 

Второе: некоторые замечания по требованию использования (свободно доступных) утилит libtiff. Когда Ghostscript создает страницу TIFF, он отмечает ее текущую версию, дату и время, а также некоторые другие метаданные внутри TIFF. Это может испортить проверку MD5, потому что в противном случае идентичные TIFF-файлы могут иметь различную отметку даты / времени. Отсюда необходимость "нормализовать" их. Используйте tiffinfo page-000001.tif или tiffdump page-000001.tif чтобы понять, что я имею в виду. Вы могли видеть s.th. как это:

c:\downloads> tiffdump.exe page-000001.tif
  page-000001.tif:
  Magic: 0x4949 <little-endian> Version: 0x2a
  Directory 0: offset 2814 (0xafe) next 0 (0)
  SubFileType (254) LONG (4) 1<2>
  ImageWidth (256) SHORT (3) 1<595>
  ImageLength (257) SHORT (3) 1<842>
  BitsPerSample (258) SHORT (3) 1<1>
  Compression (259) SHORT (3) 1<4>
  Photometric (262) SHORT (3) 1<0>
  FillOrder (266) SHORT (3) 1<1>
  StripOffsets (273) LONG (4) 8<8 341 1979 1996 2013 2030 2047 2064>
  Orientation (274) SHORT (3) 1<1>
  SamplesPerPixel (277) SHORT (3) 1<1>
  RowsPerStrip (278) SHORT (3) 1<109>
  StripByteCounts (279) LONG (4) 8<333 1638 17 17 17 17 17 13>
  XResolution (282) RATIONAL (5) 1<72>
  YResolution (283) RATIONAL (5) 1<72>
  PlanarConfig (284) SHORT (3) 1<1>
  Group4Options (293) LONG (4) 1<0>
  ResolutionUnit (296) SHORT (3) 1<2>
  PageNumber (297) SHORT (3) 2<0 0>
  Software (305) ASCII (2) 21<GPL Ghostscript 8.71\0>
  DateTime (306) ASCII (2) 20<2010:06:22 04:56:12\0>

Вот команда для "нормализации" полей даты + времени (которые в моем случае помечены как "306") в примере TIFF:

 c:\downloads> tiffset -s 306 "0000:00:00 00:00:00" ex001.tif

В результате поле DateTime теперь изменилось:

 c:\pa>tiffdump ex001.tif | findstr DateTime
   DateTime (306) ASCII (2) 20<0000:00:00 00:00:00\0>

Теперь переберите все ваши TIFF-файлы, чтобы нормализовать все их поля DateTime:

 c:\downloads> for /l %i in (C:\temp\tiffs\*.tif) ^
                  do tiffset -s 306 "0000:00:00 00:00:00" %i

Третий и четвертый: запустите md5sum.exe и отсортируйте список файлов, чтобы найти дубликаты. Вот командная строка для использования:

 c:\downloads> md5sum.exe C:\temp\tiffs\*.tif | sort

В результате вы должны легко увидеть, какие файлы / страницы имеют одинаковый хэш MD5. Это будет выглядеть примерно так:

c:\> md5sum.exe c:/temp/tiffs/page-0*.tif
  [....]
  fae9fa136c4f7ecca23b6a34d620fb02 *c:\temp\tiffs\page-000032.tif
  fae9fa136c4f7ecca23b6a34d620fb02 *c:\temp\tiffs\page-000033.tif
  fb5fef1732148d71bfff841c214cf836 *c:\temp\tiffs\page-000076.tif
  fb5fef1732148d71bfff841c214cf836 *c:\temp\tiffs\page-000077.tif
  fb86c1bdbc697eef7cb869f4e2e2957b *c:\temp\tiffs\page-000187.tif
  fb86c1bdbc697eef7cb869f4e2e2957b *c:\temp\tiffs\page-000188.tif
  fbb801ab3ef7ea33619132f97dcab045 *c:\temp\tiffs\page-000443.tif
  fbb801ab3ef7ea33619132f97dcab045 *c:\temp\tiffs\page-000444.tif
  fbc33cc0ff3e1252de1653ef2e978f94 *c:\temp\tiffs\page-000699.tif
  fbc33cc0ff3e1252de1653ef2e978f94 *c:\temp\tiffs\page-000700.tif
  fc3fd164e20bb707acddeabbc4e60f7e *c:\temp\tiffs\page-000899.tif
  fc3fd164e20bb707acddeabbc4e60f7e *c:\temp\tiffs\page-000900.tif
  [....]

Я оставляю вам автоматизировать этот шаг.

Пятый и шестой: удалите все дубликаты страниц из вашего оригинального PDF. Предположим, вы хотите удалить страницы 33, 77, 188, 444, 700 и 900. Вот команда pdftk.exe для достижения этой цели:

 c: > pdftk.exe A=12000pages.pdf ^
          cat A1-32 A34-76 A78-187 A189-443 A445-699 A701-899 A901-end ^
          output nonduplicates.pdf

* Изменить: Не знаю, почему я сначала предложил TIFF - более разумным было бы использовать BMP. *

Если вы используете -sDEVICE=bmp256 и -sOutputFile=C:\temp\tiffs\page-%06d.bmp вам не придется иметь дело с шагом «нормализации», который я описал выше. Остальная часть процедуры (md5sum ...) такая же ....

1

Pdftk может разделять / объединять / удалять страницы в файлах PDF. Я не знаю никакой функции для поиска дубликатов.

Вы можете разбить документ на отдельные страницы, а затем либо просто использовать размер файла, либо конвертировать в обычный текст и использовать diff, найти соседние подходящие страницы и удалить их, а затем объединить в один документ.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками .