Мне нужна помощь по следующему сценарию:

Автономное соединение Kafka запускает чтение прокси-файла squid:

/opt/kafka/bin/connect-standalone.sh -daemon /opt/kafka/config/connect-standalone.properties /opt/kafka/config/connect-file-source.properties

Мои connect-file-source.properties:

name=squid-access
connector.class=FileStreamSource
tasks.max=1
file=/var/log/squid/access.log
topic=myproxy

Все работает нормально, пока access.log не будет повернут. Поскольку Kafka поддерживает файл connect.offset, он перестает принимать данные при сравнении с новым файлом access.log. Пока единственное решение - удалить файл connect.offset и перезапустить соединение, чтобы создать еще один.

Вопрос здесь: как я могу заставить Kafka Connect читать недавно созданный файл ротации без необходимости удалять / перезапускать?

0