Senior Data Engineer

Senior Data Engineer Miejsce pracy: Kraków Technologie, których używamy Wymagane dbt Apache Spark Python SQL Apache Airflow Mile widziane StarRocks Trino OpenMetadata Kubernetes Prometheus Grafana O projekcie W Scalo zajmujemy się dostarczaniem projektów software'owych i wspieraniem naszych partnerów w rozwijaniu ich biznesu. Tworzymy oprogramowanie, które umożliwia ludziom dokonywanie zmian, działanie w szybszym tempie oraz osiąganie lepszych rezultatów. Jesteśmy firmą, która wykorzystuje szerokie spektrum usług IT, żeby pomagać klientom. Obszary naszego działania to m.in.: doradztwo technologiczne, tworzenie oprogramowania, systemy wbudowane, rozwiązania chmurowe, zarządzanie danymi, dedykowane zespoły developerskie. Twój zakres obowiązków udział w budowie nowoczesnej platformy Data Lakehouse służącej do centralizacji danych CRM, marketingowych i operacyjnych, implementacja potoków ELT z systemów zewnętrznych z wykorzystaniem Airflow, CEPH i dbt-spark, projektowanie i budowa warstw Silver i Gold w Apache Iceberg wraz z optymalizacją, integracja i konfiguracja środowiska analitycznego opartego o Trino oraz StarRocks, udział w tworzeniu dashboardu POC w Apache Superset oraz integracja z OpenMetadata, praca z infrastrukturą opartą o Kubernetes, FluxCD, Helm, Terraform, Prometheus/Grafana, współpraca z doświadczonym zespołem DevOps, QA i PM w pełni zdalnym środowisku, realizacja projektu greenfield, z realnym wpływem na architekturę i decyzje technologiczne, 100 % zdalny projekt, stawka do 160 zł/h przy B2B w zależności od doświadczenia. Nasze wymagania masz minimum 5 lat doświadczenia jako Data Engineer lub w pokrewnych rolach danych, bardzo dobrze znasz dbt (dbt-spark) oraz Apache Spark, pracowałeś/aś z formatami tabelowymi Apache Iceberg lub Hudi i rozumiesz ich mechanizmy ACID/UPSERT, znasz Python oraz SQL na poziomie zaawansowanym, masz doświadczenie z Apache Airflow (tworzenie DAG, retry, scheduling), rozumiesz architekturę Lakehouse (Bronze → Silver → Gold) i potrafisz ją wdrażać end-to-end, masz doświadczenie w pracy z obiektowymi storage S3/CEPH, potrafisz pracować autonomicznie, podejmować decyzje techniczne i dostarczać rozwiązania wysokiej jakości, swobodnie komunikujesz się po angielsku w codziennej pracy (B2/C1 level). Mile widziane znajomość StarRocks, Trino, OpenMetadata, doświadczenie z Kubernetes, monitoringiem (Prometheus/Grafana) oraz podejściem GitOps (FluxCD), doświadczenie z modelowaniem danych, partitioningiem i optymalizacją dużych zbiorów, znajomość systemów CRM oraz danych marketingowych, praktyczna wiedza o mechanizmach Iceberg/Hudi. Tak organizujemy naszą pracę Tak pracujemy u klienta scrum Takie dajemy możliwości rozwoju branżowe platformy e-learningowe To oferujemy stabilną współpracę i różnorodne projekty (Software, Embedded, Data, Cloud Services), możliwość rozwoju kompetencji jako Ambasador Scalo - doskonal skille techniczne i presalesowe w społeczności naszych ekspertów, wpływaj na rozwój organizacji, wspieraj innych, przestrzeń do budowania marki osobistej - twórz wartościowe treści, dziel się wiedzą i doświadczeniem, występuj jako prelegent na wydarzeniach (np. ProMeet), prywatną opiekę medyczną - Luxmed, kafeteryjny system benefitów - Motivizer, dostęp do karty Multisport, program poleceń pracowniczych z nagrodami, integracje i wydarzenia firmowe. Benefity dofinansowanie zajęć sportowych prywatna opieka medyczna dofinansowanie szkoleń i kursów ubezpieczenie na życie spotkania integracyjne paczki świąteczne program rekomendacji pracowników inicjatywy dobroczynne Brzmi interesująco? Aplikuj – czekamy na Twoje CV Klikając w przycisk "Aplikuj" lub w inny sposób wysyłając zgłoszenie rekrutacyjne, zgadzasz się na przetwarzanie Twoich danych osobowych przez Scalo Sp. z o.o. z siedzibą w: Powstańców Śląskich 9, 53-332 Wrocław (Pracodawca), jako administratora danych osobowych w celu przeprowadzenia rekrutacji na stanowisko wskazane w ogłoszeniu. Twoje dane osobowe będą przetwarzane w oparciu o następujące podstawy prawne: (a) aby podjąć działania na Twoje żądanie przed zawarciem umowy (np. informacje o oczekiwanym wynagrodzeniu i dostępności do rozpoczęcia pracy); (b) w oparciu o nasz prawnie uzasadniony interes (np. imię, nazwisko, data urodzenia, dane kontaktowe, wykształcenie, kwalifikacje zawodowe, przebieg dotychczasowego zatrudnienia); c) w oparciu o Twoją zgodę, która wyrażona jest poprzez przeslanie dokumentów aplikacyjnych zawierających takie informacje jak np. wizerunek czy zainteresowania.Podanie wszystkich danych osobowych, o których mowa powyżej jest dobrowolne, natomiast dane wymienione w lit. a) i b) są niezbędne do wzięcia udziału w rekrutacji. Niepodanie danych skutkuje brakiem możliwości rozpatrzenia kandydatury. Podanie pozostałych danych jest dobrowolne, ale może pomóc w sprawnym przeprowadzeniu procesu rekrutacji.Masz prawo żądać dostępu do Twoich danych (w tym uzyskania ich kopii), sprostowania danych, ich usunięcia, ograniczenia przetwarzania, przeniesienia, jak również wniesienia sprzeciwu wobec ich przetwarzania. Masz także prawo wniesienia skargi do Prezesa Urzędu Ochrony Danych Osobowych.Twoje dane osobowe mogą zostać przekazane dostawcom usługi publikacji ogłoszeń o pracę, dostawcom systemów do zarządzania rekrutacjami, dostawcom usług IT (hosting), dostawcom systemów informatycznych.Podane przez Ciebie dane osobowe nie będą wykorzystywane w celu profilowania albo podejmowania decyzji w sposób zautomatyzowany.Twoje dane osobowe będą przetwarzane przez okres maks. 1 roku od zakończenia publikacji ogłoszenia, chyba, że wyraziłeś odrębną zgodę na wykorzystanie Twoich danych osobowych w przyszłych rekrutacjach.W celu realizacji praw lub w przypadku jakichkolwiek pytań związanych z przetwarzaniem Twoich danych osobowych skontaktuj się z nami pod adresem: patryk.szuba@scalosoft.com.