Как объединить список слов (удалить дубликаты)?

Question

Я редактирую длинный список уникальных слов (одно слово в строке) в одном текстовом файле.

Я использовал Notepad++ и TextFXTools, чтобы объединить список слов, и работал нормально. Я бы добавил новые слова внизу списка и использовал FXTools для удаления дубликатов. Это работало, пока список не стал большим, пара миллионов слов. Notepad++ часто падает с такими большими списками.

Мне нужен способ добавить новый список слов в один большой список, удалить дубликаты и сохранить только уникальные слова. Как я могу сделать это?

Answer 1

Вы можете использовать этот инструмент из браузера HTML5:http://textmechanic.com/Big-File-Tool-Remove-Duplicate-Lines.html

Answer 2

1. Откройте Excel и перейдите в ячейку A1, введите заголовок
2. Вставьте свои записи на A2, A3, A4 ..... клетка
3. Выберите A1 Cell и перейти к Data -> Advance -> Нажмите кнопку OK , когда приглашение прийти
4. Нажмите Unique Data Only и нажмите OK
5. Теперь в списке не должно быть повторяющихся данных