Pular para o conteúdo principal

Engenheiro de Dados Sênior (Redshift, Airflow e DBT)

Descrição da vaga

A Leega é uma empresa focada no atendimento eficiente e inovador em seus clientes. 

Isso não poderia ser diferente com o nosso principal combustível: as pessoas!  

Nossa cultura é inspiradora e nossos valores estão presentes no dia a dia: ética e transparência, excelência de qualidade, trabalho em equipe, responsabilidade econômica, social e ambiental, relações humanas e credibilidade.

Buscamos profissionais inovadores que sejam movidos por desafios e focados em resultados.

Se você busca uma empresa dinâmica e parceira e que investe em seus colaboradores através de capacitação constante, a Leega é o lugar para você!

>> A LEEGA É PARA TODOS, ficaremos muito felizes em ter você em nosso time. Venha fazer parte da nossa história e da construção do nosso futuro. 

Cadastre-se agora mesmo em nossas vagas!

Responsabilidades e atribuições

Buscamos um Engenheiro de Dados Sênior que, além de construir e operar pipelines, assuma responsabilidade arquitetural sobre a plataforma de dados: modelagem do data warehouse, padrões de ingestão, governança de camadas e decisões de performance e custo. É uma posição de execução técnica pesada — a pessoa escreve código, faz tuning de banco, revisa modelagem de terceiros e responde pela confiabilidade dos dados que alimentam painéis executivos, relatórios a clientes e obrigações regulatórias.

O ambiente é regulado, no mercado financeiro e de investimentos, onde rastreabilidade, reprodutibilidade e correção auditável dos números são requisitos de primeira ordem. A interlocução acontece com áreas como Wealth Management, Comercial, Risco, Compliance e Operações, além da atuação como referência técnica para engenheiros pleno e júnior.

Principais responsabilidades

  • Projetar, construir e manter pipelines de ingestão e transformação orquestrados em Apache Airflow, com padrões consistentes de retry, idempotência, alerta e SLA.
  • Desenvolver e evoluir modelos de transformação em dbt sobre o data warehouse, organizando as camadas (staging, intermediate e marts) com testes e documentação.
  • Implementar ingestões de fontes heterogêneas, como bancos transacionais, APIs de terceiros (custodiantes, distribuidores, provedores de mercado), arquivos regulatórios e planilhas operacionais.
  • Definir e defender o modelo de dados do warehouse (dimensional, Data Vault ou híbrido, com justificativa), incluindo chaves, granularidade, historização (SCD) e tratamento de correções retroativas.
  • Estabelecer e fiscalizar padrões de distribuição, ordenação e particionamento no MPP (DISTKEY, SORTKEY e compressão em Redshift, ou equivalentes em outras engines).
  • Conduzir tuning de performance e custo, com análise de planos, filas/WLM, concorrência, manutenção (VACUUM/ANALYZE), rewrite de queries e materializações.
  • Instrumentar observabilidade e controles automatizados de qualidade dos dados, cobrindo freshness, volumetria, quebras de contrato e reconciliação entre origem e destino.
  • Desenhar camadas e contratos de dados entre times, definindo fonte da verdade, quem escreve onde e o que é exposto para BI.
  • Garantir linhagem e rastreabilidade ponta a ponta, de um número no painel até a origem e a versão do código que o produziu, aplicando controles de acesso, segregação por sensibilidade e conformidade com LGPD e com as normas do setor.
  • Documentar decisões arquiteturais (ADRs), manter o dicionário de dados vivo e atuar em code review, pareamento e definição de padrões com o time.

Requisitos e qualificações

Requisitos obrigatórios

  • 6+ anos de experiência em engenharia de dados, sendo pelo menos 2 anos com responsabilidade arquitetural (ter desenhado o modelo, não apenas implementado o desenho de outra pessoa).
  • Histórico comprovado de ter colocado em produção e operado uma plataforma de dados analítica, com incidentes, plantão e consequências reais.
  • SQL avançado: window functions, CTEs recursivas, leitura de plano de execução, diagnóstico de skew e de spill em disco.
  • Python aplicado a engenharia de dados, com código modular, testável e versionado (não apenas notebooks), incluindo pandas ou polars, tipagem e testes automatizados.
  • Apache Airflow em produção: autoria de DAGs, sensores, backfill, gestão de dependências e de falhas.
  • Data warehouse MPP em nuvem, preferencialmente Redshift (Snowflake, BigQuery ou Databricks são aceitos, com disposição para se aprofundar em Redshift).
  • dbt ou ferramenta equivalente de transformação versionada, com testes.
  • Modelagem dimensional (Kimball) com domínio real: fato e dimensão, granularidade, SCD tipos 1 e 2, tabelas ponte e snapshots.
  • Git e cultura de code review, com CI/CD aplicado a dados.
  • Diagnóstico de performance, sabendo explicar por que uma query está lenta e comprovar a correção com números antes e depois.


Diferenciais

  • Experiência no mercado financeiro: investimentos, wealth management, custódia, renda fixa e variável, fundos, cálculo de rentabilidade (TIR/TWR), posição e movimentação.
  • Vivência com dados regulatórios de CVM, BACEN, BSM e ANBIMA, incluindo prazos e formatos de entrega.
  • Infraestrutura como código (Terraform) e serviços AWS (S3, Glue, Lambda, IAM, Step Functions).
  • Formatos de tabela abertos (Iceberg, Delta), arquitetura lakehouse e streaming/CDC (Kafka, Debezium, Kinesis).
  • Ferramentas de qualidade e catálogo (Great Expectations, Soda, DataHub, OpenMetadata) e experiência com camada semântica e BI (Power BI, Metabase, Looker).
  • Ter conduzido uma migração relevante (legado para moderno, on-premises para nuvem ou planilha/VBA para pipeline versionado) com validação de paridade.


Competências comportamentais

  • Rigor com correção numérica: em ambiente regulado, "quase certo" é errado.
  • Comunicação escrita clara, capaz de registrar a arquitetura em documento que sobreviva à saída do autor.
  • Autonomia para investigar do painel até a origem do dado sem depender de aprovação a cada passo.
  • Postura de referência técnica, com code review, pareamento e mentoria de profissionais pleno e júnior.
  • Capacidade de traduzir demandas de negócio em desenho de dados sustentável, inclusive recusando atalhos que geram dívida técnica.
  • Honestidade na estimativa de escopo, risco e prazo no planejamento técnico.


INDISPENSÁVEL Conhecimento/Atuação em:

  • SQL avançado, com leitura de plano de execução e diagnóstico de performance
  • Apache Airflow em produção
  • Data warehouse MPP em nuvem (preferencialmente Redshift)
  • dbt ou ferramenta equivalente de transformação versionada
  • Modelagem dimensional (Kimball), com SCD e definição de granularidade

Informações adicionais

Atuação: 100%Remoto.

Etapas do processo

  1. Etapa 1: Cadastro
  2. Etapa 2: Avaliação de Perfil
  3. Etapa 3: Teste Coploy
  4. Etapa 4: Entrevista Gestor
  5. Etapa 5: Entrevista Cliente
  6. Etapa 6: Contratação

Onde a inteligência humana amplifica o poder dos dados

Na Leega, não entregamos apenas linhas de código ou dashboards. Transformamos desafios tecnológicos complexos em impacto real. Com mais de 15 anos de estrada, unimos a profundidade da experiência humana à velocidade da Inteligência Artificial para criar soluções que mudam negócios e, acima de tudo, melhoram a vida das pessoas.

Somos uma consultoria de tecnologia, agnóstica e estratégica. Com escritórios no Brasil e na Europa, nosso time de mais de 580 talentos multidisciplinares vive e respira o ecossistema de Data Analytics, Cloud e IA. Dominamos a base, da Governança à Engenharia, para garantir que a tecnologia não seja apenas uma ferramenta, mas uma vantagem competitiva sustentável para os maiores players do mercado.