Каким будет мой лучший способ поиска и удаления дубликатов из текстовых файлов объемом более 50 ГБ и объединения их в один? Я полагаю, что приложение с графическим интерфейсом просто зависнет, поэтому мне нужен стиль CLI с поддержкой потоков или способ использования Linux.
2 ответа
0
Auslogics Duplicate File Finder бесплатен и не должен иметь проблем с 50 ГБ текстовых файлов. Убедитесь, что вы загружаете файлы прямо с сайта, чтобы избежать загрузки CNET и не принимаете панель инструментов Auslogics. Это довольно интуитивно понятно и легко избавиться от дубликатов.
Чтобы объединить ваши текстовые файлы в окнах, вы можете попробовать это в окне cmd от имени администратора:
копировать * .txt bigfile.txt
Который будет копировать все ваши текстовые файлы в один большой файл. Не знаю, будет ли это работать с объемом файлов, которые у вас есть.