Sobre a vaga
<span>Descrição da vaga<br><br>Responsabilidades e atribuições<br><br><ul><li>Atuar na definição e evolução de arquiteturas de dados utilizando Databricks, garantindo a otimização de pipelines, a eficiência do processamento e a resolução de problemas técnicos de alta complexidade.</li><li>Contrução e manutenção de pipelines de dados escaláveis e confiáveis, utilizando tecnologias modernas de processamento distribuído para garantir a ingestão, transformação e disponibilização de dados com qualidade e performance. </li><li>Trabalhar com Apache Spark, Airflow, Kafka, dbt, além de bancos SQL/NoSQL (PostgreSQL, MongoDB, Cassandra) e plataformas cloud (Databricks, AWS Glue, BigQuery).</li><li>Projetar, definir e implementar arquiteturas de dados escaláveis, utilizando o modelo Lakehouse e a arquitetura Medallion (Bronze, Silver e Gold).</li><li>Implementar soluções de processamento de dados em batch e streaming, incluindo CDC e Structured Streaming.</li><li>Desenvolver e orquestrar processos de ingestão e integração de dados utilizando Azure Data Factory (ADF), Auto Loader e Lakeflow.</li><li>Implementar práticas de governança, segurança e controle de acesso aos dados por meio do Unity Catalog.</li><li>Desenvolver APIs REST, integrações e automações utilizando Python.</li><li>Implementar processos de CI/CD, versionamento e automação de deploy utilizando Git e Databricks Workflows.<br><br></li></ul>Requisitos e qualificações<br><br><ul><li>Domínio avançado de Databricks, PySpark, Spark SQL e Delta Lake.</li><li>Experiência sólida com DLT / Lakeflow Spark Declarative Pipelines, CDC e Structured Streaming.</li><li>Experiência prática com Liquid Clustering, Auto Loader e otimização de tabelas Delta.</li><li>Domínio de Unity Catalog, governança, segurança, linhagem e controle de acesso.</li><li>Experiência na definição e implementação de Arquitetura de Dados, incluindo modelo Lakehouse e arquitetura Medallion (Bronze, Silver e Gold).</li><li>Experiência prática com Azure Data Factory (ADF) para orquestração, ingestão e integração de dados.</li><li>Experiência em Desenvolvimento de APIs (REST) e programação avançada em Python para construção de integrações, microsserviços e automações.</li><li>Conhecimento avançado em Spark Performance Tuning, Photon, particionamento, shuffle e análise de planos de execução.</li><li>Experiência com Databricks Workflows, CI/CD, Git e Declarative Automation Bundles.</li><li>Capacidade de otimizar workloads, dimensionar recursos computacionais e reduzir custos de processamento.</li><li>Experiência em observabilidade, monitoramento e sustentação de pipelines em produção.</li><li>Capacidade de atuar como referência técnica, orientar profissionais e estabelecer boas práticas de engenharia de dados.</li><li>Certificações: Databricks Certified Data Engineer Associate; Databricks Certified Data Engineer Professional.<br><br></li></ul>Informações adicionais<br><br><strong>Benefícios<br><br></strong><ul><li>Vale-alimentação e/ou vale-refeição;</li><li>Plano de saúde e plano odontológico;</li><li>Plano de saúde para o seu pet;</li><li>Auxílio home office (para vagas remotas);</li><li>Kit de boas-vindas no onboarding;</li><li>Seguro de vida;</li><li>Zenklub, com acompanhamento psicológico e nutricional;</li><li>TotalPass;</li><li>Programa de Certificações e Capacitação Contínua com parceiros (Adobe, Anthropic, AWS, Google, Microsoft, Salesforce);</li><li>Parcerias e descontos para o seu desenvolvimento;</li><li>Acesso ao conteúdo UOL;</li><li>Kit maternidade;</li><li>Licença maternidade e paternidade estendidas; </li><li>Programa de indicações.<br><br></li></ul>Become a Compasser, be part of AI/R.<br><br>Compass UOL is a global firm and part of the AI Revolution Company, together transforming organizations using Artificial Intelligence, Generative AI, and other of today’s most advanced technologies.<br><br>We equip our team with proprietary and external AI-driven tools to design and build digital-native platforms, integrating cutting-edge technologies and enabling companies to innovate, transform their businesses, and drive success in their markets.<br><br>To achieve this, we attract and develop the best talent, creating opportunities that enhance people’s lives and highlight the positive impact of disruptive technologies.<br><br>We empower borderless talent and promote knowledge and opportunities in the latest market trends, driving significant personal and professional growth.<br><br><strong>Join us and be part of the AI-driven revolution.</strong><button><span><span><span>…</span><span> mais</span></span></span></button></span>