Apache Spark кластер через прокси?

Question

Это более спекулятивный вопрос для тех, у кого больше опыта работы в сети / Apache Spark, чем у меня.

Моя текущая настройка: две машины Core i7 32 ГБ, 4 ГГц, которые я бы хотел связать в кластер Spark. Однако они разделены брандмауэром: один - мой домашний рабочий стол (я могу очень легко настроить необходимую переадресацию портов), а другой - мой рабочий стол (за межсетевым экраном отдела; недоступен, если я уже не в сети),

Есть третья машина: она находится более или менее в демилитаризованной зоне моей рабочей сети, и поэтому я могу подключиться к ней по SSH извне, и оттуда у меня есть прямой доступ к моему рабочему столу. Есть ли какой-нибудь возможный способ запустить переадресацию портов через этот компьютер, чтобы он действовал как прозрачный прокси Spark для двух других?

Answer 1

Вы можете настроить 3-й компьютер как главный в своем кластере SPARK, убедиться, что он может взаимодействовать через ssh с другими узлами, и использовать spark-submit для запуска приложений на нем.

Вам нужно будет подать заявку в кластерном режиме, чтобы драйвер работал на 3-м компьютере. Как только другие узлы будут зарегистрированы как рабочие на главном сервере, они начнут получать задачи.

Здесь вашей единственной проблемой будет взаимодействие между 3 узлами (особенно рабочим столом), а не то, как запустить приложение на компьютере, который вы решите стать хозяином своего кластера.