Web-Scraping : méthodes d'extraction de données sur le web

 
  3 jours       2110       Avancé    
Objectifs de la formation

Acquérir les notions théoriques et pratiques nécessaires à la mise en œuvre des techniques d’acquisition automatisées de données sur le web.


Prérequis

Connaissances de base en traitement de données, programmation (idéalement en Python), notions de HTTP, HTML, CSS, XML, JSON, XPath, CSS selectors, regex.


Public visé

Data analysts, data scientists.


Contenu

La formation se concentre sur les méthodes d’extraction de données structurées ou semi-structurées depuis une page web (“web scraping”) ou une interface de programmation. Chaque méthode fait l’objet d’une présentation théorique et d’exemples pratiques de programmation. La formation nécessite une connaissance de base en programmation.

Les droits d’utilisation des données disponibles sur le web

Présentation des concepts de licences sur les données, du mouvement OpenData et des principales licences.

Récupérer des données fournies par une interface de programmation (API)

Définition d’une API, requêtage, exemples pratiques avec Python et R.

Récupérer des données d’un site web

Définition du web scraping, parcours de pages web, exemples pratiques avec Python et R, utilisation des Apis Web (Google, Twitter…)

Exemples d’outils pour faciliter le web scraping

Outils pour extraire depuis des sites statiques ou sites fortement dynamiques (ajax): Scrapy, PhantomJS, etc.

Problèmes avancés d’extractions de données

Ordonnancement, proxy, authentification, erreurs HTTP.

Approche pédagogique

  Moyens pédagogiques

  • Exposé théorique de concepts
  • Etude de cas concrets
  • Échanges sur les pratiques et expériences des participants
  • Temps de questions / réponses

  Méthodes pédagogiques