Лучший способ поиска строки (текста) в> 10 больших файлах CSV (250 МБ каждый)

Question

Мне интересно, каков наилучший способ или инструмент для поиска определенного текста или строки в более чем 10 больших файлах .csv. Каждый файл имеет размер 250 МБ.

Моя идея состояла в том, чтобы написать сценарий powershell, так как я люблю самодельные вещи, с другой стороны, возможно, уже есть идеальный инструмент, и я трачу только свое время :)

Answer 1

Вы можете попробовать версию Grep:

Grep - это утилита командной строки для поиска в наборах данных в виде простого текста строк, соответствующих регулярному выражению.

В этом ответе JdeBP перечислено несколько версий Grep для Windows.

Мне нравится и использовать Cygwin набор инструментов ...

Answer 2

PowerShell имеет Select-String, который будет искать в текстовых файлах регулярное выражение:

Get-Item path\to\*.csv | Select-String -Pattern <string>

Вы можете использовать ключ -SimpleMatch для поиска литеральной строки. Будут показаны все строки, соответствующие вашему шаблону поиска.

Если вы хотите выполнить более сложную фильтрацию, вы также можете использовать Import-Csv для преобразования файла CSV в объекты со свойствами для каждого столбца.