Какое программное обеспечение использовать для управления / преобразования файла CSV 10 ГБ (более 100 миллионов строк)

Question

Итак, у меня есть этот CSV-файл uge с более чем 100 миллионами записей, и я хочу работать над ним. Я не хочу просто редактировать это.

Что мне нужно, так это использовать какие-то преобразования базы данных excel / basic (сгруппировать, извлечь несколько символов, добавить новый столбец на основе объединенной информации и т.д.).

Каков наилучший способ сделать это? Импортировать в базу данных? (например, Oracle, вполне уверен, что Access не может управлять такими большими файлами) Можно ли использовать другие инструменты? На работе у меня было программное обеспечение под названием Amadea (http://www.isoft.fr/html/prod_amadea_en.htm), которое выполняло некоторые преобразования данных, подобные этому. Не знаю других (бесплатных) инструментов, которые делают это так же.

Спасибо!

Answer 1

Обязательно используйте базу данных. Существует множество бесплатных программ, таких как MySQL, или если вы хотите, чтобы на нем одновременно работал только один компьютер, тогда Sqlite очень хорош.

Убедитесь, что ваш импорт сначала работал правильно, особенно если во входном наборе данных есть не-ascii или большие числа.