У меня есть длинный список URL на моем собственном веб-сайте, указанный в отдельном текстовом файле с возвратом каретки. Так, например:
- Http:/www.mysite.com/url1.html
- Http:/www.mysite.com/url2.html
- Http:/www.mysite.com/url3.html
Мне нужно создать несколько параллельных виджетов, чтобы дважды щелкнуть по каждому URL, проверить и получить определенный заголовок, а затем сохранить результаты в массиве, который я хочу вывести в хороший отчет.
У меня есть часть того, что я хочу, используя следующую команду xargs:
xargs -x -P 20 -n 1 wget --server-response -q -O - --delete-after<./urls.txt 2>&1 | grep Caching
Вопрос в том, как выполнить эту команду дважды и сохранить следующее:
- Попадание URL
- 1-й результат grep против заголовка Caching
- 2-й результат grep против заголовка Caching
Таким образом, вывод должен выглядеть примерно так:
=====================================================
http:/www.mysite.com/url1.html
=====================================================
First Hit: Caching: MISS
Second Hit: Caching: HIT
=====================================================
http:/www.mysite.com/url2.html
=====================================================
First Hit: Caching: MISS
Second Hit: Caching: HIT
И так далее.
Порядок появления URL-адресов не обязательно должен вызывать беспокойство, если заголовки связаны с URL-адресом.
Из-за количества URL-адресов мне нужно использовать несколько URL-адресов параллельно, а не последовательно, иначе это займет слишком много времени.
Хитрость в том, как получить несколько параллельных виджетов И сохранить результаты осмысленным образом. Я не женат на использовании массива, если есть более логичный способ сделать это (возможно, запись в файл журнала?)
Есть ли у Баш-гуру какие-нибудь предложения относительно того, как мне поступить?