Я пытаюсь сканировать Интернет, начиная с определенного веб-сайта, и получить список URL-адресов, которые были посещены. Это то, что я до сих пор:
wget --spider -r --no-verbose -o out.txt <url>
Проблема в том, что он создает структуру папок на диске посещенных веб-сайтов. Я не хочу скачивать какие-либо файлы или создавать папки на диске. Как мне этого добиться?