В настоящее время я провожу обширные исследования различных веб-сайтов, которые все доступны для общественности.
Мне было интересно, есть ли расширение для Chrome (или Firefox или даже внешний инструмент), которое позволяет мне запрашивать контент сайтов, как если бы я использовал регулярные выражения.
Я думаю, что вы можете использовать google.com но это не очень удобно, так как оно не дает много вариантов в отношении запросов, и мне приходится снова и снова возвращаться на google.com .
У gnuwin32 есть wget для получения страниц и grep для их запроса, и вы можете использовать powergrep или бесплатную альтернативу - возможно, агент Ransack может искать в файлах.
Вы просто должны загрузить веб-страницы в виде файлов.
Сначала проверьте Google Custom Search. У него есть возможность бесплатного поиска, но если это финансируемое исследование, возможно, стоит заплатить за услугу, чтобы вы могли запрашивать Google с гораздо большей частотой. Я не проверял цены, но я не верю, что это дорого. Бесплатный сервис предлагает только 200 бесплатных поисков в день.
API пользовательского поиска Google
Затем изучите различные варианты поиска Google. В Руководстве Google представлен отличный список операторов расширенного поиска, которые вы можете использовать в своем пользовательском поиске.
Есть также несколько инструментов на основе командной строки, созданных людьми, которые используют инструмент пользовательского поиска Google. Большинство из них могут быть найдены Googling для такого инструмента, который специфичен для вашей операционной системы. Эти инструменты должны помочь вам получить необработанную информацию, которая вам нужна.
Хотя это не расширение Chrome, вы можете взглянуть на YQL (Yahoo Query Language), который позволяет вам делать выбор * из Интернета.
