Несмотря на осуществимость базовой файловой системы, вы ДЕЙСТВИТЕЛЬНО не должны хранить столько файлов в одном каталоге. Когда придет время просмотреть содержимое этого каталога, вы быстро обнаружите, что существует ОГРОМНАЯ задержка, в то время как ОС пытается создать список файлов и тому подобное. Это действительно создает значительную нагрузку на систему.
Большинство инструментов, которые выполняют любые виды «веб-архивирования», обычно создают структуру каталогов, аналогичную разметке сайта. Почти все веб-сайты не основывают все свое содержимое вне корневого каталога ... т.е. mydomain.com/document-1 ... они будут иметь некоторую материально-техническую базу, разделяющую его на несколько путей (по разным причинам) то есть изображения идут в mydomain.com/images и все о золотой рыбке в mydomain.com/goldfish/ и т.д ...
Существует несколько инструментов, которые могут и создадут такую структуру каталогов для вас. даже у wget есть опции для загрузки всего сайта. Лично я использовал « httrack » в прошлом, и он работал довольно хорошо. Есть также опции командной строки для загрузки всего сайта. Посмотрите на параметр -r (рекурсивный). Просто убедитесь, что вы настроили свой список доменов, чтобы не загружать ссылки бесконечно на нескольких сайтах. Лучше всего почитать на странице руководства wget.
