Вы по сути задали два вопроса. (Может быть, вы не спрашивали о масках подсети, но я все равно объясню другим читателям)
1) Что такое маска подсети и как она работает?
IP-адрес состоит из адреса NETWORK и части адреса HOST. Маска подсети сообщает устройству, какая часть IP-адреса является адресом NETWORK, а какая - адресом HOST. Каждый раз, когда устройство хочет установить связь с другим IP-адресом, оно сначала должно выполнить математическую операцию, которая объединяет маску подсети с IP-адресом, чтобы определить, подключен ли удаленный IP-адрес напрямую к той же сети, что и он сам. Если это так, он может отправить пакет информации непосредственно на устройство. Если это не так, и удаленный IP-адрес находится в другой сети, устройство вместо этого отправит пакет на настроенный по умолчанию или статический маршрут, который он настроил для обработки передачи данных на удаленную конечную точку. https://www.lifewire.com/internet-protocol-tutorial-subnets-818378
Если ваш IP-адрес - 192.168.1.23, а подсеть - 255.255.255.0, то сетевой адрес - 192.168.1.0, а адрес вашего хоста - 0.0.0.23. Любой другой хост в диапазоне 192.168.1.1-192.168.1.255 находится в той же сети, что и вы. Любой другой IP-адрес не находится в той же сети, что и вы. Для связи с 192.168.100.10 ваш компьютер должен будет отправить информацию на шлюз по умолчанию (маршрутизатор) в вашей сети по адресу 192.168.1.1, а маршрутизатор по адресу 192.168.1.1 определит, что делать с ним дальше.
2) Почему я вижу устройства вне моей сети при сканировании?
Это хороший вопрос. Во-первых, если вы сканируете большую сеть /16 - в этом нет ничего плохого с технической точки зрения. Но имейте в виду, что вы сканируете какое-либо устройство, которое, как известно, находится в той же сети, что и вы, и другие устройства, которые находятся в другой сети за пределами вашего маршрутизатора.
Поскольку IP-адреса, с которыми вы работаете, считаются «частными», они не маршрутизируются. Это означает, что интернет-маршрутизаторы НЕ будут направлять информацию, предназначенную для этих IP-адресов. Поэтому невозможно, чтобы те IP-адреса, которые вы видите, поступали из Интернета в любом случае. Вероятно, вы видите какой-то артефакт в роутере и как он обрабатывает зонды. Особенно, если вы делаете какие-либо специальные сканирования, такие как сканирование SYN.
Хотя интересно, я не верю, что это что-то, о чем стоит беспокоиться.