4

Я хочу знать, как автоматически копировать текст с разных сайтов. Я создаю базу данных компаний, которые принадлежат к определенным ассоциациям. На сайте есть список компаний с описанием каждой из них, которые я копирую вручную. Есть ли способ создать макрос и сделать это автоматически, так как он повторяет один и тот же процесс снова и снова.

Или кто-нибудь знает, на каком языке я мог бы разработать нечто подобное? Спасибо,

2 ответа2

2

Вы ищете метод, называемый web scraping . Вы можете использовать это для сбора данных с веб-сайтов, которые не предоставляют API для получения данных. Для этого есть множество инструментов, и есть много библиотек для разных языков (например, есть BeautifulSoup для python). Остерегайтесь, вы можете столкнуться с юридическими проблемами, когда просматриваете / забиваете сайт постоянно без разрешения.

2

В разделе "Рекомендации по программному обеспечению" есть список хороших веб-приложений, все они могут делать то, что вам нужно.

Если вы только начинаете с очистки экрана, лучше всего использовать инструменты с рекордером. Это позволяет избежать создания всех селекторов вручную. Но не существует решения, которое волшебным образом работает с каждым веб-сайтом, даже инструменты с рекордером часто требуют некоторой настройки для каждой страницы.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками .