Будет ли большая оперативная память улучшать файловую систему при записи ввода-вывода?

Question

На нашем сервере сотни миллионов маленьких файлов, всего около 500 ГБ. Я ищу способ ускорить их создание. Будет ли какая-то разница, если я получу больше оперативной памяти для этой цели? Скажем, 32 ГБ вместо 8 ГБ. Я знаю, что ОС использует некоторое пространство ОЗУ в качестве кэша FS (по умолчанию 50%), но увеличит ли это число операций записи в секунду?

Linux, EXT4.

Спасибо!

Answer 1

Простой ответ - НЕТ, ОЗУ не повлияет на скорость записи небольших файлов.

Сложный ответ: ЗАВИСИТ от того, сколько данных пишется в любой момент времени. Если больше ~ 4ГБ? (оценка основана на том, что система занимает 4 ГБ) в любой момент (большое количество операций ввода-вывода), тогда вы выиграете от увеличения ОЗУ из-за более интенсивного использования буфера записи. http://en.wikipedia.org/wiki/Data_buffer

Информатика: данные записываются в ОЗУ, в то время как запрашивается запись на диск. Копирование файла может закончиться, но операционная система продолжит сбрасывать данные из ОЗУ на диск.

Этот ответ написан для Linux.

Более быстрая скорость будет достигнута в вашем случае с:

• Подключение материнской платы SATA III или SATA II к SSD, HDD не принесет особой пользы, если скорость не превышает 7200 об / мин (скорость + 150 МБ / с) (это обновление материнской платы)
• Чем лучше процессор, тем быстрее процесс записи ввода-вывода
• SSD + как минимум SATA II. Самый важный фактор в скорости записи файлов.

Как всегда, любое обновление будет затруднено самым слабым звеном в системе, имейте это в виду, если вы покупаете SSD, но у вас работает процессор Intel Pentium.

Answer 2

1. Организуйте свои файлы, если они находятся в одной папке, или их много в одной папке (попробуйте ограничить до 4-5.000 файлов / папок).
   
2. Старайтесь не заполнять жесткие диски (~ 20% свободного места на диске), чтобы избежать фрагментации
   
3. Оперативная память помогает в вычислениях, работая с большими порциями данных в любое время, поэтому, если больше оперативной памяти помогает, это действительно зависит от того, как вы используете эти файлы ... Для операций ввода-вывода и файлов необходимо уделять больше внимания скорости FSB и HDD («об / мин»), а также размеру буфера HDD и скорости доступа.