Как выполнить предварительное кэширование ежедневно посещаемых веб-страниц в хранилище моей домашней сети?

Question

Недавно я "перерезал кабель" и перешел с кабельного интернета (40 Мбит / с) на DSL (5 Мбит / с). Это ужасно, но я застрял с этим в течение года. То, что я хотел бы сделать, это предварительно кэшировать все на страницах, которые я посещаю ежедневно (на моем NAS), и все, что связано с этой страницей. Первая страница HN например. Мне бы хотелось, чтобы все устройства в моей сети имели доступ к одному и тому же кешу (поэтому, пожалуйста, не используйте надстройки для браузера). Я хотел бы, чтобы кеш автоматически очищал старое содержимое (возраст, размер кеша, что угодно). Я использую Помидор на моем маршрутизаторе.

Я уверен, что смог бы выяснить, как перенаправить запросы в Tomato с настраиваемым DNS, и было бы не очень сложно настроить работу Python для кэширования страниц, но это заняло бы у меня целый день или больше. конечно.

Другие с медленным интернетом, должно быть, разработали нечто подобное. Я просто не нахожу много с поисковыми терминами, которые я использую. Кто-нибудь знает учебник о том, как это настроить? У кого-нибудь есть опыт создания чего-то подобного? Существуют ли готовые решения (коммерческие или нет)?

Я понимаю, что статические страницы становятся все более редкими в эти дни. Может быть, это бесполезное усилие. Лучшим примером может быть предварительная привязка ссылок на имагур из Reddit или что-то в этом роде.

Это, вероятно, противоречит некоторым условиям сайта, но я планирую делать только один запрос в день.

Answer 1

Как правило, прокси-программное обеспечение также имеет параметры для кэширования результатов - что-то вроде squid (без принадлежности, с открытым / открытым исходным кодом), работающее на NAS (или, возможно, на том же устройстве, что и tomato, если оно достаточно громоздкое), будет работать и в значительной степени под ключ, хотя вам потребуется настроить скрипт для опроса сайтов, которые вы хотите кэшировать.

Вы можете использовать некоторые wget для выполнения этого опроса, как описано в разделе «Предварительная загрузка кеша».

Затем вы либо настраиваете все свои устройства на использование этого прокси-сервера, либо можете заставить помидор использовать новый экземпляр squid в качестве прозрачного прокси-сервера. Есть несколько инструкций для dd-wrt в Squid Transparent Proxy, и шаги должны быть аналогичными для помидора.

Я должен добавить, что это не будет работать (без более обширной конфигурации) для сайтов HTTPS - HTTPS разработан так, чтобы быть устойчивым к атакам MITM, и прокси будет действовать как MITM - поэтому трафик будет зашифрован через него, что делает его неспособным для кэширования контента - вы можете обойти это, добавив к нему сертификат, а затем установив свой сертификат в веб-браузер, но это определенно не будет готовым. Обратите внимание, что это делается компаниями, которые хотят следить за HTTPS-трафиком своих сотрудников, чтобы их прокси мог просматривать контент.