scp использует много памяти

Question

Я сталкиваюсь с проблемой scp при некоторых условиях, связанных с передачей файлов в нескольких ГБ в систему SUSE® LINUX Enterprise Server 9 (ядро 2.6.xx) на SGI Altix350 с 32 ГБ памяти.

Я использовал scp -r -p, чтобы скопировать каталог на другой сервер на том же сервере, по какой-то причине он начинает использовать много памяти, и команда cached in top быстро растет. Samba работает в системе.

Если у вас есть какие-либо комментарии по scp или по-другому, скопируйте каталог с огромным количеством каталогов и файлов. Мне было бы интересно услышать об этом.

Спасибо за вашу помощь, KhalilHL

Answer 1

Лично я предпочитаю использовать rsync как он позволяет мне возобновить прерванную передачу.

Чтобы использовать его локально:

$ rsync -avP /path/to/source /path/to/destination

Чтобы перевести локальный на удаленный:

$ rsync -avP /path/to/source user@remote:/path/to/destination

Чтобы перевести пульт на локальный:

$ rsync -avP user@remote:/path/to/source /path/to/destination

Переключатели, которые я использовал:

• -a = Архив - создать точную копию дерева как можно ближе
• -v = многословно - говорит само за себя
• -P = показать ход переводов и разрешить возобновление из частичных файлов.

Answer 2

Тот же сервер ??

У SCP есть тонна накладных расходов на шифрование, из-за которых возникают проблемы с памятью. Он также туннелируется через SSH, что означает, что если вы SCPing что-то между каталогами на той же машине, он создает SSH-туннель к себе, а затем шифрует трафик, который он должен затем расшифровать.

Почему бы вам просто не использовать CP?

Answer 3

Я думаю, что вы неверно истолковали вывод "top".

кеш в топ-команде растет очень быстро

Термин "кэшированный" означает "кэш жесткого диска". Вы возитесь с файлами размером в несколько ГБ, поэтому linux будет использовать (почти) каждый бит свободной оперативной памяти для помощи жесткому диску. Как только процессу потребуется больше памяти, ядро Linux автоматически освободит часть кеша и будет использовать его для этого процесса. Это нормальное и ожидаемое поведение.