Очень немногие люди столкнутся с такой серьезной ситуацией. Решение не является программным решением, если вы не пишете базы данных, но это проблема разработки программного обеспечения. Если с этой проблемой сталкивается большинство из нас, решение будет состоять в том, чтобы использовать новый продукт (или, скорее всего, несколько продуктов и обновленную инфраструктуру), который может обрабатывать этот размер.
Если вы пытаетесь в будущем проверить новый проект, скорее всего, вы проводите время не в том месте. Все крупные компании, работающие с данными (например, FaceBook или Google), со временем усовершенствовали свое аппаратное и программное обеспечение, чтобы удовлетворить потребности. Это имеет смысл, потому что необходимо изменить, как и решения.
Что касается вопроса времени, то он слишком широкий, но FaceBook и Google наверняка решили эту проблему, но я сомневаюсь, что это было дешево. Вы не собираетесь работать на этом уровне без каких-либо серьезных разработок.