Мне нужна помощь по следующему сценарию:
Автономное соединение Kafka запускает чтение прокси-файла squid:
/opt/kafka/bin/connect-standalone.sh -daemon /opt/kafka/config/connect-standalone.properties /opt/kafka/config/connect-file-source.properties
Мои connect-file-source.properties:
name=squid-access
connector.class=FileStreamSource
tasks.max=1
file=/var/log/squid/access.log
topic=myproxy
Все работает нормально, пока access.log не будет повернут. Поскольку Kafka поддерживает файл connect.offset, он перестает принимать данные при сравнении с новым файлом access.log. Пока единственное решение - удалить файл connect.offset и перезапустить соединение, чтобы создать еще один.
Вопрос здесь: как я могу заставить Kafka Connect читать недавно созданный файл ротации без необходимости удалять / перезапускать?