Вопросы с меткой [uniq]

Руководство по использованию метки uniq отсутствует.

10
голосов
3ответа
6k показов

Есть ли в Windows эквивалент Unix Uniq?

Мне нужно удалить дубликаты строк из текстового файла, это просто в Linux, используя cat file.txt |sort | uniq когда file.txt содержит aaa bbb aaa ccc Будет выводить aaa bbb ccc Есть ли аналог ...
7
голосов
3ответа
2k показов

Удалить дубликаты в каждой строке файла

Как я могу удалить дубликаты в каждой строке, например, здесь? 1 1 1 2 1 2 3 5 5 4 1 2 3 3 Я хотел бы получить этот вывод: 1 2 3 5 4 1 2 3 Есть много строк (100 000), и в каждой строке я хочу ...
3
голоса
2ответа
78 показов

Как сделать так, чтобы uniq рассматривал только первое поле?

Я использую FreeBSD 3.2-RELEASE Если у меня есть какой-то отсортированный текст, как этот last вывод - zikla13:Oct:20:22:34 zikla13:Oct:5:00:31 zikla14:Oct:17:22:01 zikla14:Oct:12:23:35 ...
2
голоса
1ответ
132 показов

Grep на macOS: найдите уникальные вхождения группы захвата в регулярном выражении

Я нахожусь на macOS и хотел бы использовать grep (или подобный инструмент), чтобы найти уникальные вхождения определенного шаблона в базе кода. Например, для поиска всех вызовов console.somemethod() ...
2
голоса
2ответа
2k показов

Удалить не повторяющиеся строки в Linux

Как я могу удалить неповторяющиеся строки из текстового файла, используя любую программу linux linke sed, awk или любую другую? Пример: abc bbc abc bbc ccc bbc Результат: abc bbc abc bbc bbc Второй ...
2
голоса
1ответ
641 показов

Подсчет дубликатов строк из потока

В настоящее время я анализирую журналы apache с помощью этой команды: tail -f /opt/apache/logs/access/gvh-access_log.1365638400 | grep specific.stuff. | awk '{print $12}' | cut -d/ -f3 > ~/logs Вывод ...
1
голос
1ответ
351 показов

gnu sort/uniq: сортировка по количеству раз

Как я могу использовать GNU sort и uniq чтобы иметь наиболее распространенные вхождения вместо числовой или буквенно-цифровой сортировки? Пример list.txt: 1 2 2 2 3 3 Поскольку «2» встречается 3 ...
1
голос
3ответа
2k показов

удалить строки с повторяющимися словами

У меня есть отсортированный файл с такими строками word1 abca word1 abcb word1 abcc word2 abca word2 abcb word3 abbb ........... и я хочу что-то подобное word1 abca word2 abca word3 abbb ...........
1
голос
1ответ
474 показов

Grep совпадающие строки, но возвращающие совпадающие идентификаторы ключей в выводе GnuPG

Имея этот вход: rsa2048/C7927B82 2015-08-30 rsa2048/FB2D99F9 2015-08-30 Я хочу, чтобы grep возвращал только идентификатор ключа, например: C7927B92 . Использование шаблона из символов Grep до и после ...
0
голосов
1ответ
488 показов

Печать уникальных строк с помощью uniq, OS X Yosemite

Я пытаюсь распечатать уникальные записи в столбце файла .csv . Для этого я попробовал следующее: awk -F "," '{print $6}' dataCoarse.csv | uniq -u который просто печатает 6-й столбец как есть. Есть ...
0
голосов
1ответ
351 показов

Удалить список элементов из другого файла в bash

Каков наиболее эффективный метод (без повторного выполнения команды) для удаления элементов, перечисленных в одном файле, из другого файла (неупорядоченного)? Можно легко получить список ...
0
голосов
1ответ
468 показов

опция -f для команды linux

это содержимое тестового файла: this this this that is that a that MAP that map that когда я делаю uniq testCase -f1 , результат: this this this that что разумно, но если я запустил: testCase -f2 , я ...
0
голосов
2ответа
173 показов

одинаковые строки, кроме первого слова, поместите первое слово в переменную

У меня есть файл (sudoers), в котором строки могут быть идентичны, за исключением первого слова в них (разные пользователи могут выполнять один и тот же набор команд). Я могу извлечь такую строку с ...
0
голосов
3ответа
151 показов

Фильтрация 2-го поля из набора данных и затем использование uniq на выходе

У меня есть набор данных, который выглядит так: AAAAA 11111 Data1 AAAAA 11111 Data2 AAAAA 11111 Data3 AAAAA 11112 Data4 AAAAA 11112 Data5 AAAAA 11112 Data6 AAAAA 11112 Data7 AAAAA 11113 Data8 AAAAA ...
0
голосов
1ответ
50 показов

Сортировать по конвейеру, чтобы UniQ неожиданный вывод

У меня есть файл, который выглядит так: "string",192.168.1.0,,TX,192.168.1.2,,,100,0,0,10,10,10,, "string",192.168.1.0,,TX,192.168.1.1,,,100,0,0,10,10,10,, ...
0
голосов
1ответ
389 показов

Как распечатать статистику из строк в файле

Я часто нахожу себя вычисляя проценты вручную после фильтрации через файл журнала, чтобы найти долю X или Y в нем. Может ли это быть легко достигнуто с помощью обычных инструментов CLI?
0
голосов
2ответа
4k показов

linux sort -n uniq -c

У меня есть текстовый файл, который содержит около 50 МБ текста: valA valB valC valZ valB Какой самый быстрый способ: кот файл Показать уникальные появления
0
голосов
1ответ
104 показов

gnu `uniq -c`: графическое отображение в виде столбцов

С sort $file | uniq -c , можно суммировать файлы / ввод и показывать число таких случаев: 13 foo 1 bar Чтобы лучше понять эти данные, я хотел бы видеть их графически, как это делает git при ...
0
голосов
2ответа
122 показов

Сортировка по идентификатору, затем сортировка по дате, затем удаление строк, которые имеют более старую дату?

У меня есть несколько файлов с разделителями табуляции. Каждый файл структурирован так: ID Title Rating Date_Rated То, что я хочу сделать, это объединить все эти файлы в один и сохранить только ...
-1
голос
1ответ
144 показов

Как я могу отфильтровать уникальные строки на основе подстроки?

Если у меня есть набор URL-адресов в файле, как: http://example.com/do?foo=bar&etc=123 http://example.com/do?etc=456&foo=bar Я хочу отфильтровать это так, чтобы для каждого уникального значения ...
-1
голос
2ответа
118 показов

найти количество команд из файла

Я начал изучать bash совсем недавно, и мне нужно найти количество команд из файла, файл можно скачать по этой ссылке. Ниже образец Я понимаю, что должен использовать cut и uniq, но не могу понять, ...
-1
голос
2ответа
559 показов

Сортировка файлов по частоте «содержание строки» - печать дубликатов

Представь, что есть файл - a b b b b c c d d d Я хочу, чтобы выходные данные были отсортированы по частоте (я хочу, чтобы дублирующиеся строки также печатались), а также - b b b b d d d c c a