Предположим, я хочу скачать какой-нибудь вики-сайт. Похоже, что он имеет только 2000 статей - но с технологией вики - они содержат несколько версий каждой статьи ... Так что это все еще может быть терабайтами!
Поэтому мой вопрос - как вы можете найти размер данного веб-сайта - БЕЗ ЗАГРУЗКИ САЙТА?
Большинство вики хранят свои данные в базе данных. Это не простые страницы, которые вы можете загрузить с веб-сервера, они динамически создаются в тот момент, когда вы их запрашиваете, используя ряд запросов к этой базе данных.
Узнать размер было бы сложно .... Вам понадобится общий размер базы данных, а также все вспомогательные файлы в каталоге, доступном через Интернет.
Я полагаю, что если вы хотите загрузить все 2000 статей в том виде, в каком они существуют сегодня, вы можете написать скрипт, который будет запрашивать базу данных для каждой статьи и загружать ее на свой компьютер. Но чтобы перейти к редакциям каждой статьи и получить доступ к возможно удаленным статьям, вам нужно понять схему URL рассматриваемого программного обеспечения вики. Тогда вы можете измерить размер всех этих файлов .... Но это может не дать вам точное представление о размере, когда все это хранится на веб-серверах и серверах баз данных.
