как проверить ТБ данных, скопированных из облака

Question

Первое сообщение, надеюсь, это поможет кому-то еще хранить большие объемы данных в Интернете.

Я использую облачный сервис Bitcasa (НЕ рекомендуется) для обслуживания моей медиатеки и для личного резервного копирования. Недавно они радикально изменили свою бизнес-модель и получили 3-недельное уведомление о 12-кратном увеличении цены, что составляет часть годовой подписки на бета-клиентов, таких как я, которые уже несколько лет помогают платить клиентам, пока они повторяют свой продукт. , Все это, чтобы сказать, я рекомендую держаться подальше от них. У меня было это, я никогда не буду доверять им после нарушения контракта, поэтому я спешу, пытаясь загрузить и проверить более 7 ТБ данных.

Уже скачав 7TB с Bitcasa, похоже, что некоторые повреждены. Неясно, были ли исходные данные скомпрометированы при исходной передаче или на серверах их баз данных, или произошли ошибки при загрузке. Суды заказали продление до 20 ноября для клиентов данных DL, однако у меня не так много времени, прежде чем данные должны быть DLed до изменения сервиса Bitcasa. Большая часть данных DLed, но я не уверен в передаче.

Короче говоря, что является лучшим быстрым и надежным способом проверки TB онлайн-данных по моей DLed-копии в среде Mac Yosemite? Мой провайдер в лучшем случае имеет скорость передачи 100/10. Я не боюсь командной строки. Количество файлов, вероятно, исчисляется сотнями тысяч, как большими, так и маленькими, размером от .txt до GB. Учитывая временные ограничения, проверка должна быть многопоточной, если это возможно. Любые предложения приветствуются!

Ура!

Answer 1

Если командная строка - ваш друг, rsync может вам помочь. Только не удаляйте 7ТБ, которые вы уже скопировали. Сделайте резервную копию этого, если это вообще возможно. Он использует то, что называется дельта-кодированием, чтобы позволить ему передавать только файлы или часть файлов, которые отличаются. Таким образом, вы можете быть уверены, что получили то, что было на их серверах.

Я сам не пользователь Bitcasa и не могу протестировать весь процесс, но они поддерживают шину rsync.

Вам нужно будет использовать данные, которые у вас уже есть, в качестве места назначения, чтобы это работало на вас. Общий синтаксис использования rsync: Опция --progress просто дает вам представление о том, как это происходит.

rsync --progress source_at_bitcasa your_7TB_copy

Вы всегда можете просто использовать небольшую подпапку, чтобы протестировать ее перед тем, как запускать ее на всех данных. Скорее всего, вам нужно будет добавить еще несколько опций в зависимости от ваших настроек.

Я знаю, что, как правило, лучше работать с ответами немного дольше, но на rsync есть очень много полезных ресурсов. И я не хочу больше тратить ваше время на то, чтобы получить первый пост.