Description du poste

Développement de Pipelines de Données :

o Concevoir, développer et optimiser des jobs Spark (Java) pour le traitement, la transformation et l'agrégation de grands volumes de données provenant de diverses sources.

o Implémenter des flux de données robustes et performants sur Cloudera.

o Utiliser HBase pour des besoins de stockages NoSQL rapides et l'accès à des données structurées/semi-structurées.

o Développer des requêtes SQL complexes sur HIVE/SPARK pour l'extraction, l'analyse et la validation des données.

2. Optimisation et Performance :

o Monitorer la performance des jobs Spark et identifier les goulots d'étranglement.

o Optimiser les requêtes SQL et les stratégies de lecture/écriture sur HDFS et HBase.

o Proposer et implémenter des solutions pour améliorer la scalabilité et l'efficacité de la plateforme.

3. Assurance Qualité et Déploiement (DevOps) :