Want to know if this job is worth applying to?
Campinas, São Paulo, Brasil
Hybrid
Na CI&T , ajudamos grandes empresas a transformar o potencial da AI em impacto real nos negócios com AI Deployment, execução AI-native e tech-integrated business solutions.
Com 30 anos de experiência em transformação tecnológica, aceleramos inovação com expertise em agentic SDLC, application modernization, Data & AI, martech e business strategy.
Somos 8.000 CI&Ters em mais de 25 países, colaborando para construir soluções com impacto real. AI já faz parte da forma como trabalhamos, evoluímos e inovamos todos os dias.
Estamos buscando uma pessoa Data Developer focada em integração e modelagem para construir e evoluir nosso data lake e camadas analíticas. Não é uma posição orientada a “big data”/streaming massivo, e sim a integrações sólidas, pipelines de transformação estáveis e organização de dados de mercado (histórico e distribuição) com boa governança e qualidade.
Responsabilidades:
Projetar, implementar e manter pipelines de dados ponta a ponta (ELT/ETL) com foco em confiabilidade, reprocessamento e custo-eficiência;
Orquestrar cargas e rotinas usando Airflow (AWS) e funções serverless (AWS Lambda); apoiar deploys em EKS quando necessário;
Modelar dados no Snowflake (camadas bronze/prata/ouro) e desenvolver transformações no dbt (macros, tests, docs).
Construir integrações e serviços em Python com FastAPI para expor/consumir dados e automatizar processos.
Consumir, normalizar e versionar dados de mercado (market data), com ênfase em histórico e distribuição (batch; pouco streaming);
Escrever SQL de alto desempenho (tuning, particionamento/clustering no Snowflake, e em Postgres);
Utilizar Pandas para tratamentos pontuais, validações e prototipação de transformações;
Garantir qualidade (testes no dbt, data checks), observabilidade (logs/metrics/alerts), segurança (acessos, mascaramento) e documentação;
Colaborar com times de negócios, analytics e produtos para definir SLAs, contratos de dados e padrões de governança.
Requisitos para este desafio:
Sólida experiência com SQL (otimização de queries, modelagem relacional e analítica);
Experiência prática com Snowflake (warehousing, roles, tasks, performance, custos) e dbt (models, tests, sources, exposures);
Experiência construindo pipelines de dados em Airflow (DAGs, sensores, retries, SLA) e AWS Lambda;
Conhecimento de Postgres (ingestão, replicação/CDC básica ou manutenção, rotinas);
Vivência com Python para dados (Pandas) e desenvolvimento de APIs com FastAPI;
Prática em ELT/ETL orientado a batches, versionamento em Git e CI/CD (deploy seguro de pipelines/modelos dbt);
Noções de segurança e governança de dados (controle de acesso, linhagem, documentação, dados sensíveis).
Inglês técnico para leitura de documentação.
Diferenciais:
Experiência com EKS/Kubernetes para workloads de dados;
Integração de fontes de market data (provedores, formatos, rate limits, histórico, calendário);
Monitoramento/observabilidade (prometheus/grafana/cloudwatch), data quality além do dbt (Great Expectations, Soda);
Padrões de contrato de dados (pydantic/JSONSchema), e práticas de data contracts;
Performance em Snowflake (micro-particionamento, clustering, warehouses, query profile);
Custos e FinOps em dados na AWS/Snowflake;
Experiência com CDC (Debezium, DMS) e mensageria (SQS, SNS; Kafka apenas se necessário).
Stack e ambiente:
Data platform: Snowflake, dbt
Orquestração e Cloud: Airflow (AWS), AWS Lambda, EKS (quando aplicável);
Linguagens e libs: Python, Pandas, FastAPI;
Bancos: Postgres, Snowflake;
Dev: Git, CI/CD (GitHub Actions/GitLab CI/CodeBuild), IaC (CloudFormation/Terraform é plus);
Observabilidade: CloudWatch, (Grafana/Prometheus como plus).
#LI-CB4
