Я использовал искру
ec2/spark-ec2
скрипт для запуска кластера AWS. Он был запущен, я могу подключиться по ssh к главному узлу, и спарк работает, особенно с веб-интерфейсом на порту 8080:
$ ps -ef | grep spark
root 3807 1 1 00:22 ? 00:00:08 /usr/lib/jvm/java-1.7.0/bin/java -cp -Xms512m -Xmx512m -XX:MaxPermSize=128m
org.apache.spark.deploy.master.Master
--ip ec2-xxx.amazonaws.com --port 7077 --webui-port 8080
Также: на самом мастере есть доступ к веб-интерфейсу:
$ wget 10.140.187.xx:8080
--2015-07-25 00:44:17-- http://10.140.187.xx:8080/
Connecting to 10.140.187.xx:8080... connected.
HTTP request sent, awaiting response... 200 OK
Length: 7379 (7.2K) [text/html]
Saving to: ‘index.html’
100%[================================================================================================================================>] 7,379 --.-K/s in 0s
2015-07-25 00:44:17 (439 MB/s) - ‘index.html’ saved [7379/7379]
Теперь о стороне групп безопасности AWS в уравнении: вот оно. В частности, обратите внимание: порты 8080-81 включены:
Итак, почему невозможно подключиться к этому мастеру удаленно - через URL-адрес искры - http://10.140.187.xx:8080 ? Это просто время ожидания.