У меня есть следующие команды:
time grep -F -f 'in2.txt' test.fastq
time zgrep -F -f 'in2.txt' test.fastq.gz
Существует около 30 поисковых терминов для файлов размером ~ 5 ГБ. Однако я заметил, что на одном компьютере поиск занимает более 3-5 раз, это происходит при раскрутке Amazon. Поэтому мне интересно, что влияет на скорость? Должен ли я раскрутить ECS, которая имеет больше памяти или лучше скорость процессора?
CPU и I/O. Если вы ищете небольшой (30 - довольно маленький) набор терминов, вы, скорее всего, будете связаны с вводом / выводом и, вероятно, будете связаны с процессором. Вы не будете связаны с памятью.
[ПО МОЕМУ МНЕНИЮ]
Правильный ответ, конечно, это проверить его. Вы можете сделать это несколькими способами, в том числе открыть два терминала и запустить dstat, пока вы запускаете соответствующую команду. Если для завершения требуется пара секунд, вы должны понять, какие ресурсы максимально использованы (до 100% или до некоторого стационарного значения), а какие нет.