Как физическая память влияет на копирование файлов?

Question

Моя настройка:

Серверы источника и назначения (установлены в корпусе Dell M1000e):

• Dell Poweredge M620 (блейд-серверы)
• 2 процессора Intel E5-2650 с частотой 2 ГГц
• ОЗУ 192 ГБ (DDR3, 1333 МГц
• Контроллер Perc H310 Raid (6Gbe за слот)
• 2 накопителя SSD (Sata) емкостью 1,7 ТБ (RAID-0)

• 2x 10Gbe NIC (MS-Team, независимый от коммутатора, динамический, все адаптеры активны)

• Windows 2012 R2 (установка по умолчанию)

• Файл управляемой страницы системы

• Серверы подключены к коммутатору Force10 MXL 10Gb внутреннего корпуса

• Jumbo пакеты настроены (сетевые платы и порты коммутатора)

Случай использования:

При копировании (копирование в Windows) большого файла (более 200 ГБ) между исходным и целевым серверами (не имеет значения, в каком направлении это происходит в обоих случаях), копирование начинается с хорошей постоянной скорости передачи ~ 1 ГБ / с (хотя я ожидая ~ 2 ГБ / с), однако где-то по пути он падает до нескольких МБ / с (!) для остальной части передачи.
Пожалуйста, смотрите изображение ниже для более ясного просмотра

Похоже, что RAM влияет на мои действия копирования.
Как и почему это влияет на это?

Answer 1

• Пропускная способность между серверами составляет 10 Гбит / с.
• Пропускная способность ваших SSD составляет 6 Гбит / с, из которых около 4 Гбит - это чистая скорость записи

Таким образом, на первом этапе данные файла поступают со скоростью около 10 Гбит / с, из которых 4 Гбит / с перемещаются на диск, а 4 Гбит / с остаются в кэше.

После ок. Половина вашей кеш-памяти заполнена на 100%, поэтому Windows начинает ограничивать передачу, но все же поступающие данные плюс очистка кеша - это больше, чем могут выдержать SSD. Это приводит к большему заполнению кэша.

Когда объем свободной ОЗУ, наконец, достигнет нижнего предела (или размер грязного кеша превысит верхний предел), Windows сбросит передачу почти до нуля, чтобы очистить кэш.

Когда все грязные данные были перемещены, скорость передачи снова возрастет, и будет достигнуто равновесие (если передача не закончена).

Для перемещения больших файлов гораздо лучше использовать программное обеспечение, которое использует запись файлов с помощью O_DIRECT , чего, конечно, нет в Explorer.