Вот ситуация:
Необходимо скопировать около 10 миллионов небольших файлов (по 1–50 тыс. Каждый) из одного каталога между двумя удаленными серверами через Интернет. Пробовал с FTP и SCP, но не удалось, так как все файлы находятся в одном каталоге и как-то замораживает передачу.
Проблема в том, что нельзя использовать TAR, так как на исходном сервере SSH недоступен, только на целевом сервере, где у меня есть полный контроль.
Ежедневное количество файлов увеличивается на 10-40 тыс., Поэтому делать окончательную копию становится все труднее, любые предложения будут высоко оценены.
Спасибо, Р.
Изменить: Чтобы прояснить ситуацию: исходный сервер (где все файлы расположены) является обычным сервером общего хостинга с доступом к PHP/Mysql и прочее (хотя PHP может выполнять общие команды Linux). Целевым сервером, на который я хочу передать файлы, является полный root-доступ (SSH и т.д.) На экземпляре VPS.
Теперь я могу использовать tar/zip и т.д., Но мне интересно, сколько времени займет архивирование всех моих 10/20 миллионов файлов (файлов небольшого размера). Если я сделаю это через PHP в какой-то момент, появится тайм-аут или я могу отправить shell exec с запуском в фоновом режиме, или что-то еще?
Другой вариант - вытащить файлы с конечного сервера как-нибудь, в небольших количествах или? Любые предложения будут оценены, так как я уже разочарован. Большое спасибо за уже сделанные ответы.