GenAI Azure Data Engineer

GenAI Azure Data Engineer Miejsce pracy: Warszawa Technologies we use Expected Python SQL Terraform PySpark CI/CD Azure Services About the project We are looking for an experienced Data Engineer / Data Architect to lead the design, development, and optimization of enterprise-scale data solutions on Microsoft Azure, with additional expertise in Google Cloud Platform (GCP). This is a hands-on individual contributor role focused on building scalable and efficient data platforms, developing complex ETL/ELT pipelines, and enabling seamless multi-cloud integration. The ideal candidate combines strong technical depth with practical experience in data architecture, governance, and automation (CI/CD) within large-scale enterprise environments. Your responsibilities Azure-Centric Data Engineering Design and deploy Azure data platforms: Data Lakes: Azure Data Lake Storage (ADLS Gen2) with Delta Lake optimizations. ETL/ELT: Azure Data Factory, Synapse Analytics, and Databricks workflows. Data Warehousing: Synapse Dedicated Pools, Azure SQL DB. Optimize Spark workloads (e.g. Azure Databricks) for performance tuning (partitioning, caching). Implement real-time pipelines: Azure Event Hubs, Stream Analytics, and IoT Hub integrations. Ensure data governance: Enforce data quality with Azure Purview (lineage tracking, sensitivity labeling). Implement RBAC and Azure Active Directory (AAD) integration for secure access. Build real-time analytics pipelines: Process streaming data via Azure Event Hubs/Stream Analytics with windowing and watermarking strategies. Operational Excellence Automate CI/CD pipelines. Lead disaster recovery (DR) Manage data lifecycle Our requirements Core Azure Expertise Advanced SQL, PySpark, and Python. Infrastructure-as-Code (Terraform, ARM/Bicep). Performance tuning (partitioning, indexing, query optimization). Azure Services: Data Factory (ADF), Synapse, Databricks, Cosmos DB. DevOps (Azure Pipelines, Repos), Monitor, and Security Center. GCP Proficiency (nice to have): BigQuery (partitioned tables, materialized views). Cloud Storage, Dataflow, Pub/Sub. IAM and VPC networking. Looker, Dataproc, Composer (Airflow). Optional Certification: Azure: DP-203 (Data Engineer), AZ-400 (DevOps). GCP: Professional Data Engineer (preferred). Education: Bachelors/Masters in CS/IT or equivalent. This is how we organize our work This is how we work at the client's site you focus on a single project at a time you can change the project you have influence on the product you focus on product development agile Team members backend developer frontend developer devOps data scientist automated test programmer scrum master UX designer business analyst This is how we work on a project Clean Code Continuous Deployment Continuous Integration Development opportunities we offer development budget mentoring substantive support from technological leaders technical knowledge exchange within the company time for development of your ideas What we offer Opportunity to lead end-to-end design of advanced, enterprise-scale data platforms in Azure and multi-cloud environments. Work with modern technologies (Azure, Databricks, Terraform, GCP) in a highly technical, hands-on role. Supportive, growth-oriented environment with opportunities for certification and continuous learning. A training budget to support your technical and professional development Private medical care and co-financing of a sports card Flexible working hours and the option to work fully remotely Benefits sharing the costs of sports activities private medical care sharing the costs of foreign language classes sharing the costs of professional training & courses remote work opportunities flexible working time integration events Pragmile We're a software house passionate about building solutions that change how our clients use data and artificial intelligence. For over 9 years, we've been developing innovative AI-driven products such as InfraSenses and SolarSpy — not just using ready-made tools, but also building machine learning models from scratch. Klikając w przycisk "Aplikuj" lub w inny sposób wysyłając zgłoszenie rekrutacyjne, zgadzasz się na przetwarzanie Twoich danych osobowych przez Pragmasoft Spółka z o.o. z siedzibą w: Al. Jerozolimskie 92, 00-807 Warszawa (Pracodawca), jako administratora danych osobowych w celu przeprowadzenia rekrutacji na stanowisko wskazane w ogłoszeniu. Twoje dane osobowe będą przetwarzane w oparciu o następujące podstawy prawne: (a) aby podjąć działania na Twoje żądanie przed zawarciem umowy (np. informacje o oczekiwanym wynagrodzeniu i dostępności do rozpoczęcia pracy); (b) w oparciu o nasz prawnie uzasadniony interes (np. imię, nazwisko, data urodzenia, dane kontaktowe, wykształcenie, kwalifikacje zawodowe, przebieg dotychczasowego zatrudnienia); c) w oparciu o Twoją zgodę, która wyrażona jest poprzez przeslanie dokumentów aplikacyjnych zawierających takie informacje jak np. wizerunek czy zainteresowania.Podanie wszystkich danych osobowych, o których mowa powyżej jest dobrowolne, natomiast dane wymienione w lit. a) i b) są niezbędne do wzięcia udziału w rekrutacji. Niepodanie danych skutkuje brakiem możliwości rozpatrzenia kandydatury. Podanie pozostałych danych jest dobrowolne, ale może pomóc w sprawnym przeprowadzeniu procesu rekrutacji.Masz prawo żądać dostępu do Twoich danych (w tym uzyskania ich kopii), sprostowania danych, ich usunięcia, ograniczenia przetwarzania, przeniesienia, jak również wniesienia sprzeciwu wobec ich przetwarzania. Masz także prawo wniesienia skargi do Prezesa Urzędu Ochrony Danych Osobowych.Twoje dane osobowe mogą zostać przekazane dostawcom usługi publikacji ogłoszeń o pracę, dostawcom systemów do zarządzania rekrutacjami, dostawcom usług IT (hosting), dostawcom systemów informatycznych.Podane przez Ciebie dane osobowe nie będą wykorzystywane w celu profilowania albo podejmowania decyzji w sposób zautomatyzowany.Twoje dane osobowe będą przetwarzane przez okres maks. 1 roku od zakończenia publikacji ogłoszenia, chyba, że wyraziłeś odrębną zgodę na wykorzystanie Twoich danych osobowych w przyszłych rekrutacjach.W celu realizacji praw lub w przypadku jakichkolwiek pytań związanych z przetwarzaniem Twoich danych osobowych skontaktuj się z nami pod adresem: joanna.dywan@pragmasoft.pl.