Есть мой проект, который требует около 1,2 ТБ данных для загрузки из Интернета и запуска сценариев поверх него, чтобы преобразовать их в какой-то другой конечный результат. Итак, я вижу три проблемы здесь:
- Загрузка: я не могу загрузить этот объем данных с моего ноутбука из-за низкой скорости загрузки.
- Хранение: загруженные файлы должны храниться где-то. Опять же, на моем ноутбуке недостаточно памяти, чтобы сделать это (учитывая, что он может загружать файлы волшебным образом)
- Обработка: После загрузки и сохранения мне нужно запустить сценарии над файлами, чтобы получить конечный результат. Учитывая огромный размер ввода, это не может быть сделано моим ноутбуком, в нормальное время.
Поэтому я вижу только AWS в качестве опции. Я рассмотрел некоторые из предлагаемых ими продуктов, и на первый взгляд кажется, что часть обработки может быть выполнена с помощью продукта под названием EC2 (Elastic Cloud Computing), а хранение может быть выполнено с помощью продукта S3, масштабируемого место хранения.
Я не смог найти ничего, что соответствовало бы моим требованиям к загрузке .
Итак, могу ли я использовать вышеуказанное решение для загрузки данных?