Dernière mise à jour le 3 juillet 2017 (1 révision)
Objectifs
A l'issue de ce stage, les stagiaires seront en mesure de :
- Installer une machine Cloudera quickstart
- Configurer la machine cloudera quickstart (base de configuration)
- Connaitre les principes de fonctionnement d'un cluster hadoop
- Utiliser le langage Pig et définir des UDF
- Utiliser le langage Hive et définir des UDF
- Utiliser les principaux langages via java
Présentation
Le big data est considéré aujourd’hui comme l’un des grands défis de l’informatique. Il vise à répondre à la demande grandissante de gestion et d’analyse des vastes quantités d’informations générées par nos activités sur les réseaux. Que ce soit pour détecter et prévenir les épidémies, pour rendre les réseaux de distribution d’énergie plus intelligents ou faire du marketing ciblé et individualisé, par exemple, le big data est en voie de devenir incontournable.
Participants et prérequis
Cette formation s'adresse aux développeurs souhaitant utiliser les technologies big-data
Pour pouvoir suivre cette formation, les pré-requis suivants sont nécéssaires :
- Bases de développement de script bash (savoir lancer des exécutables, et gérer les fichiers)
- Bases de SQL
- La connaissance du langage java est requise
Programme
Partie 1 : présentation des technologies big-data
- Fonctionnement d'un cluster hadoop
- Traitements map-reduce
- Les langages du big-data
Partie 2 : utilisation des commandes hadoop -fs
- Présentation de hdfs
- Dialogue avec hdfs (transferts de fichiers)
- Quelques commandes utiles
- Gestion de hdfs dans un programme java
Partie 3 : utilisation des commandes pig
- Intéret de pig pour charger les fichiers
- Quelques commandes permettant de réaliser des transformations
- Réalisation d'une UDF de chargement
- Utilisation de pig dans un programme java
Partie 4 : utilisation de hive
- Présentation de hive
- Création des objets hive (table, database)
- Interrogation des données
- Ecriture d'une UDF et d'une UDAF Hive
- Utilisation de hive dans un programme java via jdbc