У меня есть три конвейера для импорта данных из базы данных SAP HANA в базу данных Azure и поэтапной обработки данных, затем с интервалами и создания данных моментальных снимков из этих интервалов. Каждый конвейер имеет условие if, которое проверяет таблицы, которые требуют обновления, и, если есть таблицы, которые требуют его, условие if выполняет дочерний конвейер, который выполняет импорт / обновление.
конвейер 1 проверить таблицы, требующие обновления да / нет да - выполнить импорт таблиц (дочерний конвейер) нет - дождаться следующего запланированного запуска.
подготовка конвейера 2 завершилась: да / нет да - определить последнюю завершенную копию каждой промежуточной таблицы и выполнить копию данных из стадии в дм нет - дождаться следующего запланированного запуска
график конвейера 3 для получения последней завершенной копии витрины данных для каждой таблицы и передачи ее в таблицы моментальных снимков.
Все три конвейера работают нормально при последовательном запуске вручную. Однако мне нужно объединить их в цепочку (импорт и этап /«витрина данных» /снимок), чтобы у меня было одно задание в расписании /триггере, которое при завершении одного конвейера запускает следующий конвейер, а НЕ раньше. Я пытался, если условия, ждать завершения, контролируя цепочку с успехом /неудачей /завершением. Мне нужен элемент управления, который ожидает завершения дочернего конвейера в родительской задаче и только после этого переходит к следующей родительской задаче.
Любые идеи, как мы можем управлять содержащейся задачей, чтобы дождаться запуска всех дочерних задач, прежде чем она завершит следующую задачу?
большое спасибо