Разбор удаленных файлов

Question

У меня есть две системы. У меня есть несколько файлов журнала в одной системе (A), которые генерируются каждый час. Я хочу проанализировать эти файлы из другой системы (B). Один из способов - скопировать файлы, а затем проанализировать их (B). Но это потребует большой полосы пропускания для копирования, и если я проанализирую файлы в исходной системе (A), это увеличит загрузку процессора, чего я должен избегать.

Может кто-нибудь предложить наиболее оптимальный способ сделать это? Проще говоря, я хочу: используйте систему B для анализа файлов, расположенных на удаленной системе A, чтобы у меня не было большой нагрузки на систему A (независимо от нагрузки на систему B), в то время как нагрузка на сеть оптимизирована ,

Answer 1

Если они являются просто стандартными текстовыми файлами, вы можете получить степень сжатия, близкую к 90%, если сжать их перед отправкой. При их сжатии будет некоторая нагрузка, но, вероятно, меньше, чем будет стоить анализ.

Изменить: из-за комментариев, я должен также предложить использовать HTTP-сжатие и передать файлы журнала на удаленный компьютер для анализа. Он все равно будет генерировать нагрузку для сжатия страниц, но, возможно, ваш веб-сервер лучше справится с балансировкой ресурсов, чем запуск 7-Zip в фоновом режиме.