Вычисление контрольной суммы огромного файла (30 ГБ)

Question

У меня есть огромный набор данных, состоящий из нескольких файлов, размер некоторых файлов превышает 30 ГБ. После сжатия, передачи набора данных по сети и повторного распаковывания я подозреваю, что что-то пошло не так (возможно, файл поврежден). Одним из быстрых способов подтвердить это было бы вычисление контрольных сумм обеих копий файла, но существует ограничение в 2 ГБ на размер файла для инструмента MD5 в Windows PowerShell.

Есть ли альтернатива для вычисления контрольной суммы файла, размер которого превышает 30 ГБ? (Инструмент должен быть реализован как для Linux, так и для Windows.)

Answer 1

Вы можете использовать openssl для этого. Это доступно для Windows и Linux.

В терминале Linux используйте:

openssl md5 /path/to/your_file

В командной строке Windows:

openssl.exe md5 C:\path\to\your_file