Engenheiro de Dados SR (Integração SAP) at Grupo SysMap

About this role

Você é apaixonado(a) por tecnologia e inovação? 💡 No Grupo SysMap – que reúne SysMap Solutions, TriggoLabs e – acreditamos que grandes resultados nascem de pessoas incríveis. Somos uma empresa brasileira de tecnologia que, desde 1999, ajuda organizações a superar desafios complexos e acelerar sua transformação digital. Nossa atuação abrange diversos segmentos, como Telecom, Varejo, Educação, Financeiro, Indústria/Cosméticos e Energia, sempre com foco em soluções inovadoras e de alto impacto. 👉 Candidate-se agora e construa o futuro da tecnologia conosco! Missão do Cargo Atuar na arquitetura, no desenvolvimento e na implementação de soluções avançadas de Engenharia de Dados, com forte domínio em Databricks e integração de dados provenientes do ecossistema SAP. Será responsável por construir e otimizar pipelines de dados, implementar arquiteturas Lakehouse, desenvolver processos de ETL/ELT e garantir a qualidade, a escalabilidade, a governança e a disponibilidade das informações para ambientes analíticos e estratégicos. Principais
Projetar, desenvolver e manter pipelines de dados utilizando Databricks, garantindo eficiência, escalabilidade e performance no processamento de grandes volumes de informações;
Desenvolver processos de ingestão, transformação e processamento de dados utilizando Apache Spark, PySpark e SQL;
Implementar arquiteturas Lakehouse e Medallion (Bronze, Silver e Gold), estruturando fluxos de dados desde a ingestão até a disponibilização para consumo analítico;
Trabalhar com Delta Lake, Delta Tables e recursos avançados do Databricks para armazenamento, versionamento, otimização e gerenciamento de dados;
Desenvolver e otimizar processos de ETL/ELT, integrando diferentes fontes de dados, especialmente sistemas SAP;
Atuar na extração, integração e transformação de dados provenientes do SAP S/4HANA, SAP ECC e demais soluções do ecossistema SAP;
Implementar integrações entre SAP e Databricks utilizando APIs, OData, conectores e mecanismos de ingestão de dados;
Desenvolver soluções de processamento em batch e streaming, conforme as necessidades dos projetos;
Implementar boas práticas de governança, qualidade, segurança, linhagem e monitoramento de dados, incluindo recursos do Unity Catalog;
Realizar otimizações de performance em consultas SQL, jobs e workflows no ambiente Databricks;
Atuar na automação e orquestração de pipelines, garantindo a confiabilidade e a disponibilidade dos processos;
Trabalhar em conjunto com equipes de Arquitetura, BI, Analytics e áreas de negócio na construção de soluções orientadas a dados.
Requisitos Técnicos
Experiência sólida em Engenharia de Dados, com atuação em projetos de arquitetura e processamento de grandes volumes de dados;
Experiência avançada e prática com Databricks, incluindo desenvolvimento, implementação e otimização de pipelines de dados;
Domínio de Apache Spark, PySpark e Spark SQL;
Conhecimento avançado em Delta Lake, Delta Tables e arquitetura Lakehouse;
Experiência com arquitetura Medallion (Bronze, Silver e Gold);
Conhecimento em Databricks Workflows, Jobs e recursos de orquestração;
Experiência com Unity Catalog, governança, controle de acesso e linhagem de dados;
Domínio de SQL e Python aplicados à Engenharia de Dados;
Experiência em processos de ETL/ELT e integração de múltiplas fontes de dados;
Conhecimento do ecossistema SAP, especialmente SAP S/4HANA e/ou SAP ECC;
Experiência com extração e integração de dados SAP por meio de APIs, OData, RFC, IDoc ou outros mecanismos;
Conhecimento em SAP Datasphere, SAP BW/4HANA ou SAP Data Services;
Vivência com ambientes em nuvem, AWS, Azure ou Google Cloud.
Vamos gostar muito se, além disso tudo, você tiver:
Certificação Databricks Data Engineer Associate ou Professional;
Experiência com Delta Live Tables/Lakeflow Declarative Pipelines;
Conhecimento em CI/CD, Git e automação de deploy de pipelines;
Experiência com processamento de dados em tempo real (streaming);
Conhecimento em SAP BTP e SAP Integration Suite;
Experiência com arquiteturas de dados modernas e ambientes corporativos de grande porte.
Originally posted on Himalayas