Как извлечь все внешние ссылки веб-страницы и сохранить их в файл?
Если у вас есть какие-либо инструменты командной строки, это было бы здорово.
4 ответа
14
Вам понадобятся 2 инструмента, lynx и awk, попробуйте это:
$ lynx -dump http://www.google.com.br | awk '/http/{print $2}' > links.txt
Если вам нужна нумерация строк, используйте команду nl, попробуйте это:
$ lynx -dump http://www.google.com.br | awk '/http/{print $2}' | nl > links.txt
7
Вот улучшение ответа Лелтона: вам вообще не нужен awk, потому что у lynx есть несколько полезных опций.
lynx -listonly -nonumbers -dump http://www.google.com.br
если ты хочешь цифры
lynx -listonly -dump http://www.google.com.br
0
если командная строка не является принудительной, вы можете использовать Скопировать все ссылки Firefox.
0
- Используйте Beautiful Soup, чтобы получить нужные веб-страницы.
- Используйте awk, чтобы найти все URL, которые не указывают на ваш домен
Я бы порекомендовал Beautiful Soup по методам очистки экрана.