Como é ser uma pessoa Sênior Data Engineer:

Este perfil é o arquiteto da fundação. O foco não é criar o pipeline de um ponto A para B, mas sim garantir que o ambiente de armazenamento seja escalável, seguro e organizado.

Responsabilidades:

• Propor o melhor tipo de arquitetura para criação de pipeline de dados com base em um problema pré-definido (ex.: arquitetura lambda, arquitetura kappa, ETL, Scraping, etc).
• Ter conhecimento avançado de cloud computing e conseguir defender as melhores peças de infraestrutura para um problema proposto (ex.: Kubernetes, VMs, ECS, etc).
• Identificar e propor otimizações para problemas de performance em alguma etapa da arquitetura de dados (ex.: clusters de Spark, clusters de Kafka, bancos de dados, etc).
• Atuar em incidentes complexos, implementar monitoramentos e propor soluções que resolvam o problema na causa raiz.

O que esperamos de você: