Я видел несколько похожих вопросов, но они касаются файлов размером менее 1 ГБ, и ответы обычно рекомендуют такие службы, как Dropbox, S3 и Skydrive. Это не подходит для моих нужд.
У меня есть очень большой набор данных (общедоступная история матчей Dota2), который в исходном виде в MongoDB (без индексов) составляет около 800 ГБ. Сбросив это и используя уровень сжатия 7Zip Ultra, я могу достичь степени сжатия около 9-10%, я могу уменьшить этот размер примерно до 80 ГБ для распространения. Я ищу способ сделать эти сжатые файлы общедоступными, но не уверен, что это лучший способ их распространения. Я могу разбить файлы на более мелкие части, выполнив дамп с запросом. Это оказывает незначительное влияние на степень сжатия.
Мой домашний интернет имеет очень низкую скорость загрузки (макс. 1,3 Мбит / с, часто ограничивается), поэтому я бы предпочел не пропустить торрент из моего домашнего подключения.
Каков наилучший способ распространения этого набора данных? Может ли быть способ еще больше сжать набор данных?
РЕДАКТИРОВАТЬ: Поскольку этот вопрос был отмечен как дубликат, я не думаю, что я могу ответить на него больше. Я не уверен, как кто-то думает, что это дубликат вопроса, где принят ответ «Dropbox», но для любого, кто наталкивается на этот вопрос по наилучшим вариантам, выглядит следующее:
Используйте BitTorrent в качестве протокола передачи, но размещайте файлы с поставщиком "Seedbox". Похоже, что это поставщики VPS, ориентированные на обеспечение пропускной способности и места для хранения для активных пользователей протокола BitTorrent. В качестве средней цены достаточно места и пропускной способности для моих нужд примерно за 10 долларов в месяц. Чтобы получить файлы на хостинг-провайдеров, я скопирую их на внешний диск и затем отправлю их по FTP на хостинг из нескольких мест, где у меня есть доступ к интернет-соединениям.