Получить заголовок всех URL-адресов в списке

Question

У меня огромный список URL-адресов, и я хочу получить название всех из них.

Является ли это возможным? (без необходимости посещать каждый из них вручную)

Я использую Windows 8

Answer 1

Ну ... обычно я делаю это с Linux, но вот небольшой пакетный файл, который вы можете использовать в Windows: (sites.txt будет содержать ваши URL)

sites.bat

@echo off
if exist titles.txt (del titles.txt)
for /f "tokens=*" %%a in (sites.txt) do (
  echo Checking %%a
  echo|set /p=%%a ;>> titles.txt
  wget --quiet -O - "%%a" 2> nul | sed -n -e "s!.*<title>\(.*\)</title>.*!\1!p" >> titles.txt
)
type titles.txt

Результат будет в titles.txt (с URL ; перед ним для простого импорта в электронную таблицу)

Вам нужен wget и sed для Windows.

Вы можете найти их здесь:

Wget для Windows
Sed для Windows

Примечание: здесь используется простая команда sed для извлечения заголовка. Это может пойти не так, если тег title также существует в теле (или у него нет заголовка). Если это так, вы можете найти более сложные проверки здесь.