Mettre en œuvre et utiliser les outils informatiques des Big Data

 
  Toutes les formations  Data science
  3 jours       2000       Avancé    
  Prochaine session
7, 8, 9 novembre 2018
Objectifs

Connaître les évolutions technologiques qui révolutionnent l’architecture technique. Savoir quels sont les contraintes techniques, les performances, les caractéristiques d’une architecture en grille hautement performante et positionner un système Big Data dans le plan d’urbanisme.


Prérequis

Bonnes connaissances informatiques (systèmes et base de données), requêtage SQL.


Contenu

Principes de distribution du stockage et des calculs (dont MapReduce)

Composants et fonctionnement d’un cluster Hadoop. Utilisation du shell et des interfaces de gestion (outil d’administration, Hue). Options de déploiement d’un cluster (dont le cloud computing, revue des principaux fournisseurs)

Organisation des données avec Hive (création de bases, de tables, requêtage). Utilisation des différents formats de fichiers

Les utilisations de Spark, moteur de calcul distribué, et de ses différentes bibliothèques. Introduction aux outils des big data de traitement en flux des données (temps réel)


Modalités pédagogiques

Afin de mobiliser les participants, de multiplier les échanges et de faciliter l’assimilation des connaissances, cette formation alterne exposés théoriques et applications pratiques / cas concrets / travaux sur ordinateur.

Exercices tout au long des trois jours sur une plate-forme Big Data Hadoop, et séance de travaux pratiques