Panorama du Big Data
Objectifs pédagogiques
Avoir une vision des différents aspects des Big Data.
Programme détaillé
La formation présente les différents aspects des Big Data : les usages, les technologies et les impacts dans l’entreprise et la société, en présentant son origine, ses dernières applications, les technologies spécifiques mais aussi l’organisation des projets et des équipes de data science, et les sources d’informations pour suivre le sujet au-delà de la journée.
Qu’est-ce que les Big Data ?
- Qu’est-ce que les Big Data ?
- Comment caractériser les Big Data et expliquer leur essor
- Origines et brève histoire
- Implication technologique
- Illustrations d’applications des Big Data
- Nouveaux modèles économiques
- Nouvelles sources de données
- Data Lake et entrepôt de données
Technologies et outils propres aux Big Data
- Enjeux technologiques de big data pour le stockage et le calcul : illustration avec MapReduce (calcul distribué)
- Rôle croissant du Cloud Computing pour les Big Data : revue des acteurs et des services proposés, architecture type, approche SaaS
- Outils de data science et industrialisation des modèles
Impacts, organisation, compétence des équipes
- Risques des Big Data
- Equipe Big Data & data lab
- Conduite des projets Big Data
- Métiers & compétences
- S’informer et se former
Public visé
Toute personne souhaitant s’initier au Big Data.
Prérequis
La formation sera « grand public » mais sera plus facile à suivre si l’on a une certaine sensibilité à la question du traitement des données, avec quelques notions de base en statistique.
Approche pédagogique
Calculés à partir de 33 avis recueillis depuis 22/06/2016, lors de 4 sessions de cette formation.
Big Data : d'où viennent les « 3 V », et ce que le volume ne garantit pas
Le terme Big Data s’est imposé au début des années 2010, mais sa définition la plus citée est plus ancienne. En février 2001, Doug Laney, analyste du cabinet META Group, décrit dans une note de recherche trois défis de la gestion des données d’entreprise : le volume (la quantité), la vélocité (la vitesse à laquelle les données arrivent et doivent être traitées) et la variété (des formats hétérogènes, des tableaux aux textes et aux images). Les « 3 V » sont restés la grille de lecture du sujet.
Le volume ne remplace pas la méthode
En novembre 2008, des chercheurs de Google publient dans Nature Google Flu Trends, qui estime la fréquence de la grippe aux États-Unis à partir des recherches des internautes, plus vite que les réseaux de médecins. Au cours de l’hiver 2012-2013, l’outil surestime l’épidémie : il prévoit plus du double de la part de consultations pour syndrome grippal relevée par les autorités sanitaires. En 2014, David Lazer et ses coauteurs analysent cet échec dans Science et dénoncent « l’hubris du Big Data », l’idée que des données massives dispenseraient des précautions de la statistique : des milliards de recherches ne sont pas un échantillon représentatif, et leurs liens avec la grippe changent dès que le moteur de recherche modifie son fonctionnement. Le service est arrêté en 2015.
Entrepôt ou lac de données
Les entreprises n’ont pas attendu le Big Data pour centraliser leurs données. L’entrepôt de données (data warehouse), théorisé par Bill Inmon au début des années 1990, rassemble des données nettoyées, structurées selon un schéma défini à l’avance et historisées, prêtes pour le reporting. En octobre 2010, James Dixon, directeur technique de l’éditeur Pentaho, propose l’image du lac de données (data lake) : stocker les données brutes, dans leur format d’origine, et ne les structurer qu’au moment de les analyser. Plus souple, le lac devient vite un « marécage » sans catalogue ni gouvernance ; les deux architectures coexistent le plus souvent.
Les nouvelles sources dans la statistique publique
Le Big Data a aussi changé la production des statistiques officielles. Depuis l’indice de janvier 2020, l’Insee intègre à l’indice des prix à la consommation les données de caisse des hypermarchés et supermarchés pour les produits alimentaires industriels, d’entretien et d’hygiène-beauté : des relevés exhaustifs de prix et de quantités, qui remplacent pour ces produits les relevés des enquêteurs en magasin.
Le passage de MapReduce, le modèle de calcul distribué des débuts, à Spark est raconté dans Spark pour la data science.
