Tech Lead |Remote at Compass UOL

About this role

. Buscamos um(a) Tech Lead de Dados com perfil sênior e hands-on para atuar na construção e sustentação da camada de dados de um produto de Inteligência Artificial de um grande grupo de infraestrutura de mobilidade. O desafio envolve desenvolver pipelines, preparar dados para serviços de IA generativa e integrar dados a serviços e APIs, garantindo qualidade, segurança e governança. Principais Entender o produto, seus consumidores e as fontes de dados, conduzindo tecnicamente as demandas com autonomia. Construir e sustentar pipelines em PySpark e SQL no Databricks. Trabalhar com arquitetura medallion, Delta Lake, Unity Catalog e Databricks Workflows. Preparar dados para serviços de IA generativa, incluindo embeddings, índices vetoriais, qualidade e versionamento. Integrar dados aos serviços de IA e ao Databricks Genie. Consumir e disponibilizar dados por meio de APIs, com segurança e observabilidade. Modelar a camada gold e disponibilizar dados para o produto, Power BI e aplicações analíticas. Desenvolver frameworks reutilizáveis e validações de qualidade. Aplicar práticas de versionamento, CI/CD, testes e code review. Trabalhar em ciclos curtos com o time de produto, priorizando entregas incrementais. Documentar pipelines e decisões técnicas. Apoiar estimativas técnicas, orientar a squad e disseminar boas práticas. Garantir classificação, anonimização e controle de acesso em conjunto com a Governança de Dados. Experiência sólida em engenharia de dados e atuação como referência técnica de squad. Databricks, PySpark e Spark SQL em ambiente produtivo. Arquitetura medallion: landing, bronze, silver e gold. Delta Lake, Unity Catalog e Databricks Workflows. Engenharia de dados para IA generativa, incluindo preparação de dados, embeddings, índices vetoriais, qualidade e versionamento. Integração de dados via APIs e serviços, com segurança e observabilidade. Modelagem de dados analíticos nas camadas silver e gold. Git, CI/CD, code review, testes e validações de qualidade. Experiência em times ágeis de produto e entregas incrementais. Boa comunicação com áreas técnicas e de negócio. Formação em TI ou áreas correlatas. Diferenciais Databricks Genie e padrões corporativos de uso de IA generativa. Governança de dados aplicada à IA e LGPD, incluindo classificação, anonimização, linhagem e controle de acesso. Oracle com replicação via Golden Gate/CDC. Extração de dados do SAP via Open Hub. SQL Server e Microsoft Graph (SharePoint/M365). Power BI. Gestão de credenciais com identidades de serviço e cofres de segredos. Documentação técnica no Confluence. Informações adicionais Benefícios
Vale-alimentação e/ou vale-refeição;
Plano de saúde e plano odontológico;
Plano de saúde para o seu pet;
Auxílio home office (para vagas remotas);
Kit de boas-vindas no onboarding;
Seguro de vida;
Zenklub, com acompanhamento psicológico e nutricional;
TotalPass;
Programa de Certificações e Capacitação Contínua com parceiros (Adobe, Anthropic, AWS, Google, Microsoft, Salesforce);
Parcerias e descontos para o seu desenvolvimento;
Acesso ao conteúdo UOL;
Kit maternidade;
Licença maternidade e paternidade estendidas;
Programa de indicações. Originally posted on Himalayas