Другие ответы предполагают, что вы написали CGI/ модульное приложение Apache - я предполагаю, что вы написали свое собственное приложение, которое также прослушивает порт 80, для целей администрирования.
В системе Linux самый простой способ (без необходимости писать собственную систему ACL .htaccess или аналогичную) заключается в использовании iptables для предотвращения чего-либо, кроме локального доступа к выбранному вами порту:
iptables -A INPUT -p tcp --dport 80 -s 127.0.0.1 -j ACCEPT
iptables -A INPUT -p tcp --dport 80 -j DROP
Очевидно, что это лучше использовать для включения в сценарий инициализации, который будет загружаться при загрузке, и потенциально может быть сделан более устойчивым, но для ваших текущих ограниченных целей, как определено, это должно сработать. :)