поиск, удаление дубликатов и пометка в один файл

Question

Каким будет мой лучший способ поиска и удаления дубликатов из текстовых файлов объемом более 50 ГБ и объединения их в один? Я полагаю, что приложение с графическим интерфейсом просто зависнет, поэтому мне нужен стиль CLI с поддержкой потоков или способ использования Linux.

Answer 1

Auslogics Duplicate File Finder бесплатен и не должен иметь проблем с 50 ГБ текстовых файлов. Убедитесь, что вы загружаете файлы прямо с сайта, чтобы избежать загрузки CNET и не принимаете панель инструментов Auslogics. Это довольно интуитивно понятно и легко избавиться от дубликатов.

Чтобы объединить ваши текстовые файлы в окнах, вы можете попробовать это в окне cmd от имени администратора:

копировать * .txt bigfile.txt

Который будет копировать все ваши текстовые файлы в один большой файл. Не знаю, будет ли это работать с объемом файлов, которые у вас есть.

Answer 2

Вот пост, который может вам помочь, но в небольшом масштабе вы можете написать свой собственный скрипт, который будет обрабатывать огромное количество файлов. Также этот пост может помочь с помощью команды сортировки.