Мне нужно перенести 1000 папок с жесткого диска на веб-сервер. У меня проблема в том, что каждая из них имеет около 2 миллионов папок с 1-2 TXT или CSV-файлами в каждой папке. По сути, это плоская файловая база данных, представляющая сложное игровое дерево.
Мой план состоял в том, чтобы сжать файлы. Переместите их на сервер, затем распакуйте. Когда они находятся на сервере, их не нужно перемещать или редактировать.
Каков наиболее эффективный способ переместить эти папки / файлы?
Дополнительная информация:
Мой компьютер имеет много оперативной памяти и процессора (256 ГБ оперативной памяти / 20-ядерный процессор). И я вполне способен программировать на Python. В худшем случае, возможно, я мог бы запрограммировать что-то на Python, чтобы использовать многопоточность и использовать преимущества вычислительной мощности компьютера. Но веб-сервер имеет нормальный процессор, поэтому он ограничен. Кроме того, максимальное время, которое я могу потратить на перемещение 1000 этих папок на сервер, составляет 2 недели. Это будет повторяющаяся проблема.
Изменить: (найдено несколько возможных решений)
- репликация диска на уровне блоков (вместо копирования каждого файла копируйте весь диск)
- статья 2010 года о той же проблеме: статья