Скрапинг веб-сайтов с помощью Python | Митчелл Райан

Когда данные разбросаны по сотням веб-страниц, ручной сбор невозможен. Это практическое руководство покажет, как автоматизировать процесс с помощью Python. Вы узнаете, как сканировать сайты, извлекать информацию из сложного HTML и динамического JavaScript, сохранять данные в нужном формате и даже использовать скраперы для тестирования веб-приложений. Книга фокусируется на реальных решениях, помогая высвободить время для задач, требующих человеческого внимания.

Изучите методы скрапинга и краулинга веб-сайтов, чтобы получить доступ к неограниченному объему данных в любом уголке Интернета в любом формате. С помощью этого практического руководства вы узнаете, как использовать скрипты Python и веб-API, чтобы одновременно собрать и обработать данные с тысяч или даже миллионов веб-страниц. Идеально подходящая для программистов, специалистов по безопасности и веб-администраторов, знакомых с языком Python, книга знакомит не только с основными принципами работы веб-скраперов, но и углубляется в более сложные темы, такие, как анализ сырых данных или использование скраперов для тестирования интерфейса веб-сайта. Примеры программного кода, приведенные в книге, помогут разобраться в этих принципах на практике.

Прочитав эту книгу, вы научитесь:

- выполнять парсинг сложных HTML страниц;

- сканировать веб-страницы и сайты;

- работать с API;

- применять несколько методов хранения собранных данных;

- скачивать, обрабатывать и извлекать данные из документов;

- использовать инструменты и методы для очистки плохо отформатированных данных;

- читать и записывать естественные языки;

- выполнять краулинг с использованием регистрационных форм;

- выполнять скрапинг Javascript-кода;

- обрабатывать изображения и распознавать текст.

Инструменты и примеры, приведенные в этой книге, позволяют легко автоматизировать несколько повторяющихся задач, высвобождая время для решения более насущных проблем. Это легко читаемая, ориентированная на конкретный результат книга, рассказывающая о реальных проблемах и решениях.