Я пытаюсь загрузить несколько наборов данных из открытого источника, журнала транзакций Европейского Союза.
Я использую инструмент поиска «Распределение / соответствие» (в левой синей панели).
Оттуда я должен выбрать страну и нажать "поиск". Затем у меня есть доступ к различным годам (2010, 2011, 2012 и т.д.). Я хочу скачать файлы для всех стран (28) и всех предыдущих лет (с 2005 по 2013 год), то есть как минимум 252 запроса.
Я попытался выяснить, как я могу напрямую использовать URL загрузки. Окончательный URL-адрес (в данном случае для Болгарии в 2010 году)следующий.
С этого URL я могу:
- удалите параметр "& installationAllowance = 35266538"
- удалить параметр "& registryCodeLookup = Bulgaria"
- изменить параметр "& periodYear = 2010" (чтобы изменить контрольную дату)
- измените параметр "& registryCode = BG" (чтобы изменить страну).
Моя единственная проблема на данный момент заключается в том, что каждая ссылка требует проверки со страницы загрузки (щелчок по кнопке "ОК").
В исходном коде страницы я вижу, что сработала функция:
<form name="export" method="POST" action="http://ec.europa.eu/environment/ets/export.do">
Код кнопки "ОК" следующий:
<input type="submit" name="OK" value="Ok" class="FormButton" id="btnOK">
В исходной странице также есть блок JavaScript.
Как я мог массово скачать эти файлы? (Я думал о создании группы ссылок, замене лет и стран на RegEx, а затем использовании расширения "DownThemAll" для Firefox с опцией "загрузить из файла").