Dernière mise à jour le 3 juillet 2017 (2 révisions)
Présentation
Sqoop est un outil qui permet d'envoyer des données situées sur hdfs sous forme d'une table hive vers une base de donnée externe via un connecteur jdbc ou de recevoir des données en provenance d'une base de données sur hdfs.
Les données présentes sur hdfs ne sont a priori pas structurées. Il n'existe pas de clé primaire, ni de contraintes d'unicité. Il y a donc un risque de générer des erreurs lorsqu'on utlise sqoop.
Utiliser une base postGreSQL
sudo cp /mnt/Partage/postgresql-9.4-1200-jdbc41.jar /usr/lib/sqoop/lib/
Réaliser un export
Pour exporter les données, on utilise la commande ci-dessous
cnx=jdbc:postgresql://$serveur:$port/$nombase
u=username
p=password
d=org.postgresql.Driver
sqoop export --connect $cnx --username $u --password $p –driver $d --table tailles --export-dir /user/tables_hive/tailles --fields-terminated-by '\;' --batch