Как мне составить список всех ссылок на веб-странице (DownThemAll!)?

Question

Как я могу скачать ссылки (не содержимое страниц, на которые указывают ссылки, только сами ссылки). Я пытаюсь дать администратору сети список из 300 видео для разблокировки, он просто хочет получить URL.

Answer 1

В PHP:

<?php

$webpagehtml=file_get_contents("http://www.example.com");

$dom=new DOMDocument();
$dom->loadHTML($webpagehtml);

$xpath=new DOMXPath($dom);
$items = $xpath->query("//a");

$links=array();

for ($i = 0;  $i < $items->length; $i++ ) {
$item = $items->item($i);
$title=$item->textContent;
$href=$item->getAttribute('href');

if($href && $title){
echo "$href = $title<br/>";
}
}
?>

В Python используйте http://arshaw.com/scrapemark/docs/examples/.

Или вы можете использовать downthemall в Firefox, чтобы сделать грязную работу.

Answer 2

Когда я хочу увидеть ссылки на веб-странице, я извлекаю из своих архивов старую копию браузера Avant (версия 10) и устанавливаю ее. Запустите веб-страницу, которую вы хотите. Щелкните правой кнопкой мыши на странице и выберите «Открыть все ссылки на этой странице». Вы не можете вырезать и вставить их.