Databricks Architect

Forma pracy: part-time (2 x 0,5 FTE) lub full-time (1 x 1 FTE), 100% zdalnie⏰ Start: ASAP (8-15 Grudnia) Cześć Dla naszego klienta z USA poszukujemy Senior Data Architecta z głębokim doświadczeniem w Databricks. Klient posiada stałe zapotrzebowanie na specjalistów, a obecnie poszukujemy osoby (lub dwóch osób) do objęcia zadań architektonicznych i nadzorczych w ramach dwóch różnych projektów, startujących początkiem/połową grudnia.Klient jest otwarty na zatrudnienie jednej osoby na pełny etat (łącząc projekty) lub dwóch osób na pół etatu (2 x 20 godzin tygodniowo). Projekty są ze sporym prawdopodobieństwem na przedłużenie, a ze względu na stałość zapotrzebowania, klient jest w stanie zaproponować nowy temat po zakończeniu danego projektu.Obecnie poszukiwany Architekt do 2 projektów:1. Platforma JDE/Smartsheet (Start 8 Grudnia): Projekt polega na przeniesieniu całego raportowania opartego na plikach JDE oraz Smartsheet do nowoczesnego Lakehouse w Databricks. Celem jest osiągnięcie jednego źródła prawdy, poprawa jakości danych i eliminacja ręcznych kroków. W tym projekcie będziesz odpowiadać za projekt i wdrożenie bezpiecznej, wielowarstwowej infrastruktury Databricks jako kodu (Terraform IaC) oraz architektury dostępu (Unity Catalog, SailPoint), wspierając migrację krytycznych danych finansowych (JMF)2. Migracja Synapse -> Databricks (Start 15 Grudnia): Projekt polega na strategicznej migracji całej korporacyjnej platformy danych z Azure Synapse Analytics do Azure Databricks Lakehouse. Celem jest modernizacja architektury, poprawa wydajności, umożliwienie innowacji AI/ML oraz ustanowienie ujednoliconego governance. Zakres architektoniczny obejmuje definiowanie metadata-driven framework, nadzór nad migracją 253 tabel do architektury Medallion, wdrożenie Unity Catalog oraz Private Link dla bezpieczeństwa sieci.Dla klienta kluczowe jest obycie w środowisku Azure/ AWS oraz ekspercka znajomość DataBricks i Apache Spark. Projekty prowadzone są przede wszystkim dla firm z USA – w większości przypadków wymagana jest praca jedynie z niewielką zakładką godzinową (np. od 10:00 do 18:00), natomiast jesteśmy otwarci na kandydatów preferujących pracę w innych godzinach.Ogólny zakres obowiązków na projektach: Architektura i Implementacja Platformy: Projektowanie, wdrażanie i utrzymanie skalowalnych rozwiązań Data Lakehouse z wykorzystaniem Databricks, Delta Lake oraz standardów Medallion Architecture (Bronze/Silver/Gold). Governance i Security: Wdrażanie mechanizmów zarządzania danymi (data governance) i bezpieczeństwa, w tym konfiguracja Unity Catalog, zarządzanie dostępem (RBAC) oraz implementacja IaC (Terraform) dla automatyzacji infrastruktury i audytowalności. Wyzwania Migracyjne i Transformacyjne: Aktywny udział w projektach migracyjnych platformy (Synapse ->Databricks, JDE ->Databricks) oraz refaktoring złożonej, starszej logiki biznesowej (SSIS, Boomi) do nowoczesnych rozwiązań Spark/Python. Budowa Potoków Danych: Nadzór nad tworzeniem i optymalizacją zaawansowanych potoków ETL/ELT przy użyciu PySpark i Delta Live Tables (DLT), włączając w to mechanizmy przetwarzania danych wsadowych oraz strumieniowych/w czasie zbliżonym do rzeczywistego. Optymalizacja i SLA: Definiowanie strategii monitorowania, dostrajanie wydajności oraz automatyzacja procesów data engineering, aby spełniać krytyczne SLA (np. 4-godzinne okno odświeżania danych).Wymagania:⚡️ Eksperckie doświadczenie (8+ lat) w pracy w roli Data Architekta oraz Data Engineera lub pokrewnych rolach, szczególnie w projektach transformacyjnych i migracyjnych⚡️ Ekspercka znajomość platformy Databricks (architektura, multi-workspace, klastry, security) oraz Apache Spark (PySpark, optymalizacja zapytań)⚡️ Praktyczne doświadczenie z Delta Lake i znajomość koncepcji zarządzania danymi, w tym wdrożenia Unity Catalog oraz kontroli dostępu⚡️ Wieloletnie doświadczenie z Infrastrukturą jako Kodu (IaC) przy użyciu Terraform w kontekście zarządzania infrastrukturą chmurową i Databricks (audytowalność, powtarzalność)⚡️ Biegła znajomość środowisk chmurowych, a w szczególności Microsoft Azure (ADLS, networking)⚡️ Bardzo dobra znajomość Python i jego zastosowań w Data Engineering⚡️ Umiejętność podejmowania inicjatywy, samodzielność i liderowanie technicznym decyzjom⚡️ Angielski na poziomie C1 (płynna komunikacja) umożliwiający swobodną komunikację w zespole.Mile widziane:⚡️ Praktyczne doświadczenie z Delta Live Tables⚡️ Znajomość lub doświadczenie w pracy z hurtowniami danych/narzędziami migracyjnymi takimi jak Azure Synapse, Yellowbrick, SSIS, Boomi lub podobnymi systemami legacy⚡️ Doświadczenie w integracji systemów Identity Provisioning (np. SailPoint) z Databricks⚡️ Doświadczenie w projektowaniu i optymalizacji przepływów danych za pomocą DBTJak działamy i co oferujemy? Stawiamy na otwartą komunikację zarówno w procesie rekrutacji, jak i po zatrudnieniu - zależy nam na klarowności informacji dotyczących procesu i zatrudnienia. Do rekrutacji podchodzimy po ludzku, dlatego upraszczamy nasze procesy rekrutacyjne, żeby były możliwie jak najprostsze i przyjazne kandydatowi. Pracujemy w imię zasady 'remote first', więc praca zdalna to u nas norma, a wyjazdy służbowe ograniczamy do minimum. Oferujemy prywatną opiekę medyczną (Medicover) oraz kartę Multisport dla kontraktorów.