Engenheiro de Dados Sênior (Redshift, Airflow e DBT)
Descrição da vaga
A Leega é uma empresa focada no atendimento eficiente e inovador em seus clientes.
Isso não poderia ser diferente com o nosso principal combustível: as pessoas!
Nossa cultura é inspiradora e nossos valores estão presentes no dia a dia: ética e transparência, excelência de qualidade, trabalho em equipe, responsabilidade econômica, social e ambiental, relações humanas e credibilidade.
Buscamos profissionais inovadores que sejam movidos por desafios e focados em resultados.
Se você busca uma empresa dinâmica e parceira e que investe em seus colaboradores através de capacitação constante, a Leega é o lugar para você!
>> A LEEGA É PARA TODOS, ficaremos muito felizes em ter você em nosso time. Venha fazer parte da nossa história e da construção do nosso futuro.
Cadastre-se agora mesmo em nossas vagas!
Responsabilidades e atribuições
Buscamos um Engenheiro de Dados Sênior que, além de construir e operar pipelines, assuma responsabilidade arquitetural sobre a plataforma de dados: modelagem do data warehouse, padrões de ingestão, governança de camadas e decisões de performance e custo. É uma posição de execução técnica pesada — a pessoa escreve código, faz tuning de banco, revisa modelagem de terceiros e responde pela confiabilidade dos dados que alimentam painéis executivos, relatórios a clientes e obrigações regulatórias.
O ambiente é regulado, no mercado financeiro e de investimentos, onde rastreabilidade, reprodutibilidade e correção auditável dos números são requisitos de primeira ordem. A interlocução acontece com áreas como Wealth Management, Comercial, Risco, Compliance e Operações, além da atuação como referência técnica para engenheiros pleno e júnior.
Principais responsabilidades
- Projetar, construir e manter pipelines de ingestão e transformação orquestrados em Apache Airflow, com padrões consistentes de retry, idempotência, alerta e SLA.
- Desenvolver e evoluir modelos de transformação em dbt sobre o data warehouse, organizando as camadas (staging, intermediate e marts) com testes e documentação.
- Implementar ingestões de fontes heterogêneas, como bancos transacionais, APIs de terceiros (custodiantes, distribuidores, provedores de mercado), arquivos regulatórios e planilhas operacionais.
- Definir e defender o modelo de dados do warehouse (dimensional, Data Vault ou híbrido, com justificativa), incluindo chaves, granularidade, historização (SCD) e tratamento de correções retroativas.
- Estabelecer e fiscalizar padrões de distribuição, ordenação e particionamento no MPP (DISTKEY, SORTKEY e compressão em Redshift, ou equivalentes em outras engines).
- Conduzir tuning de performance e custo, com análise de planos, filas/WLM, concorrência, manutenção (VACUUM/ANALYZE), rewrite de queries e materializações.
- Instrumentar observabilidade e controles automatizados de qualidade dos dados, cobrindo freshness, volumetria, quebras de contrato e reconciliação entre origem e destino.
- Desenhar camadas e contratos de dados entre times, definindo fonte da verdade, quem escreve onde e o que é exposto para BI.
- Garantir linhagem e rastreabilidade ponta a ponta, de um número no painel até a origem e a versão do código que o produziu, aplicando controles de acesso, segregação por sensibilidade e conformidade com LGPD e com as normas do setor.
- Documentar decisões arquiteturais (ADRs), manter o dicionário de dados vivo e atuar em code review, pareamento e definição de padrões com o time.
Requisitos e qualificações
Requisitos obrigatórios
- 6+ anos de experiência em engenharia de dados, sendo pelo menos 2 anos com responsabilidade arquitetural (ter desenhado o modelo, não apenas implementado o desenho de outra pessoa).
- Histórico comprovado de ter colocado em produção e operado uma plataforma de dados analítica, com incidentes, plantão e consequências reais.
- SQL avançado: window functions, CTEs recursivas, leitura de plano de execução, diagnóstico de skew e de spill em disco.
- Python aplicado a engenharia de dados, com código modular, testável e versionado (não apenas notebooks), incluindo pandas ou polars, tipagem e testes automatizados.
- Apache Airflow em produção: autoria de DAGs, sensores, backfill, gestão de dependências e de falhas.
- Data warehouse MPP em nuvem, preferencialmente Redshift (Snowflake, BigQuery ou Databricks são aceitos, com disposição para se aprofundar em Redshift).
- dbt ou ferramenta equivalente de transformação versionada, com testes.
- Modelagem dimensional (Kimball) com domínio real: fato e dimensão, granularidade, SCD tipos 1 e 2, tabelas ponte e snapshots.
- Git e cultura de code review, com CI/CD aplicado a dados.
- Diagnóstico de performance, sabendo explicar por que uma query está lenta e comprovar a correção com números antes e depois.
Diferenciais
- Experiência no mercado financeiro: investimentos, wealth management, custódia, renda fixa e variável, fundos, cálculo de rentabilidade (TIR/TWR), posição e movimentação.
- Vivência com dados regulatórios de CVM, BACEN, BSM e ANBIMA, incluindo prazos e formatos de entrega.
- Infraestrutura como código (Terraform) e serviços AWS (S3, Glue, Lambda, IAM, Step Functions).
- Formatos de tabela abertos (Iceberg, Delta), arquitetura lakehouse e streaming/CDC (Kafka, Debezium, Kinesis).
- Ferramentas de qualidade e catálogo (Great Expectations, Soda, DataHub, OpenMetadata) e experiência com camada semântica e BI (Power BI, Metabase, Looker).
- Ter conduzido uma migração relevante (legado para moderno, on-premises para nuvem ou planilha/VBA para pipeline versionado) com validação de paridade.
Competências comportamentais
- Rigor com correção numérica: em ambiente regulado, "quase certo" é errado.
- Comunicação escrita clara, capaz de registrar a arquitetura em documento que sobreviva à saída do autor.
- Autonomia para investigar do painel até a origem do dado sem depender de aprovação a cada passo.
- Postura de referência técnica, com code review, pareamento e mentoria de profissionais pleno e júnior.
- Capacidade de traduzir demandas de negócio em desenho de dados sustentável, inclusive recusando atalhos que geram dívida técnica.
- Honestidade na estimativa de escopo, risco e prazo no planejamento técnico.
INDISPENSÁVEL Conhecimento/Atuação em:
- SQL avançado, com leitura de plano de execução e diagnóstico de performance
- Apache Airflow em produção
- Data warehouse MPP em nuvem (preferencialmente Redshift)
- dbt ou ferramenta equivalente de transformação versionada
- Modelagem dimensional (Kimball), com SCD e definição de granularidade
Informações adicionais
Atuação: 100%Remoto.
Etapas do processo
- Etapa 1: Cadastro
- Etapa 2: Avaliação de Perfil
- Etapa 3: Teste Coploy
- Etapa 4: Entrevista Gestor
- Etapa 5: Entrevista Cliente
- Etapa 6: Contratação
Onde a inteligência humana amplifica o poder dos dados
Na Leega, não entregamos apenas linhas de código ou dashboards. Transformamos desafios tecnológicos complexos em impacto real. Com mais de 15 anos de estrada, unimos a profundidade da experiência humana à velocidade da Inteligência Artificial para criar soluções que mudam negócios e, acima de tudo, melhoram a vida das pessoas.
Somos uma consultoria de tecnologia, agnóstica e estratégica. Com escritórios no Brasil e na Europa, nosso time de mais de 580 talentos multidisciplinares vive e respira o ecossistema de Data Analytics, Cloud e IA. Dominamos a base, da Governança à Engenharia, para garantir que a tecnologia não seja apenas uma ferramenta, mas uma vantagem competitiva sustentável para os maiores players do mercado.
A Leega em outras plataformas