Ссылка armannvg показывает множество программ, которые будут делать то, что вы хотите, и Feniix предлагает другое хорошее решение. Тем не менее, я бы посоветовал вам разбить ваши журналы по дате, если они становятся такими большими, иначе войдите в базу данных, а не в плоский файл. Просто не эффективно хранить большие журналы в одном текстовом файле. Если вам абсолютно не нужно видеть все от начала этого журнала до самого конца, зачем открывать и загружать все эти данные каждый раз, когда вам нужно просмотреть журналы?
Вместо этого я бы рекомендовал разбивать журналы на более управляемые куски и называть их по дате, чтобы их можно было легко организовать / найти. Тогда вы сможете быстрее найти нужные записи в журнале, и вам не придется просеивать тонны ненужных данных.
И если вы получаете 700 МБ журналов из данных за один день, то вам может потребоваться сократить объем регистрируемых данных, разбить журнал на несколько файлов в зависимости от типа события или сократить избыточный журнал. данные (например, если вы опрашиваете ресурс каждые 10 секунд, и он продолжает выплевывать одни и те же данные, то, возможно, добавляйте записи журнала только при изменении состояния ресурса). Вы можете также потенциально нарушить лог - файлы на более мелкие интервалы (например, час), но поддержание долгосрочных логов (и возможность использовать их) генерируется на 700MB/ день , кажется , как ненадежное положение для меня.