Data Engineer

Data Engineer Miejsce pracy: Wrocław Technologie, których używamy Wymagane Python SQL PL/SQL Teradata PySpark Databricks Kafka Batch Mile widziane RabbitMQ AWS Microsoft Azure Google Cloud Platform O projekcie Dołącz do Natek jako Data Engineer i wesprzyj projekt dla jednej z czołowych instytucji bankowych, którego celem jest rozwój centralnej warstwy danych oraz budowa i migracja procesów ETL integrujących informacje z wielu źródeł. Będziesz pracować nad rozszerzaniem istniejącej architektury o nowe źródła danych, wspierać migrację do Databricks oraz odgrywać kluczową rolę w procesach zasilających aplikacje biznesowe. Twój zakres obowiązków Prowadzenie procesu integracji danych end-to-end: od zebrania i zrozumienia potrzeby biznesowej, przez analizę źródeł, aż po implementację i wpięcie danych w proces zasilania. Projektowanie, rozwój i optymalizacja procesów ETL. Parsowanie danych i praca z dużymi zbiorami informacji. Integracja z różnorodnymi źródłami danych: API, kolejki (RabbitMQ/Kafka), batch. Wspieranie migracji procesów do Databricks / PySpark. Ścisła współpraca z biznesem i innymi jednostkami. Nasze wymagania Minimum 3 lata doświadczenia w obszarze Data Engineering. Bardzo dobra komunikatywność oraz umiejętność współpracy z biznesem. Samodzielność w prowadzeniu pełnego procesu ETL end-to-end – od analizy wymagań, przez projekt, implementację, aż po wdrożenie. Silne umiejętności analityczne oraz doświadczenie w tworzeniu analiz biznesowych. Doświadczenie we wdrażaniu produktów end-to-end i koordynacji tematów między jednostkami. Zaawansowane umiejętności w zakresie Python. Zaawansowane umiejętności w zakresie SQL (PL/SQL / Teradata). Zaawansowane umiejętności w zakresie projektowania i budowy procesów ETL. Zaawansowane umiejętności w zakresie pracy z PySpark oraz Databricks. Umiejętność integrowania danych z różnych źródeł (API, kolejki RabbitMQ /Kafka, batch). Umiejętność parsowania i przetwarzania dużych zbiorów danych. Mile widziane Doświadczenie w budowie lub rozwoju aplikacji. Znajomość RabbitMQ. Znajomość zasad projektowania architektur danych oraz orkiestracji procesów. Doświadczenie z rozwiązaniami chmurowymi (Azure/AWS/GCP). Tak organizujemy naszą pracę Tak pracujemy u klienta To oferujemy Program Mobilności Wewnętrznej – ciesz się wieloma możliwościami rozwoju kariery, rotacją stanowisk, różnorodnością projektów i technologii Program Poleceń – ciesz się współpracą ze swoimi kolegami i otrzymaj bonus Klub NATEK 5/10 lat – oferujemy długoterminową współpracę i świętujemy każdą piątą rocznicę współpracy prezentami Wydarzenia CSR NATEK i budowanie zespołów – ciesz się naszymi wartościami: odpowiedzialnością, partnerstwem i wiedzą specjalistyczną oraz workITwithus Kafeteria Opieka Medyczna Karta Klubu Multisport Szkolenia techniczne i personalne Kursy językowe Dodatkowo tylko dla UOP: Ubezpieczenie na życie Bonusy za wydarzenia personalne Dzień wolny na wolontariat Benefity dofinansowanie zajęć sportowych prywatna opieka medyczna dofinansowanie nauki języków ubezpieczenie na życie możliwość pracy zdalnej elastyczny czas pracy spotkania integracyjne program rekomendacji pracowników dodatkowy urlop Kafeteria NATEK POLAND Firma założona w Czeskim Brnie w 2004 roku, od samego początku skoncentrowana na współpracy ze światowymi liderami branży IT. Jesteśmy doświadczoną firmą posiadającą dogłębną wiedzę z zakresu budowania wydajnych zespołów projektowych IT. Naszą misją jest dostarczanie wysokiej jakości rozwiązań outsourcingowych IT w Europie Środkowo-Wschodniej, aby pomóc naszym klientom w poprawie ich wydajności, zapewniając jednocześnie naszym pracownikom środowisko pracy oparte na partnerstwie. Doświadczenie naszych zespołów w różnych branżach (FMCG, bankowość, motoryzacja, telekomunikacja) pozwala nam trafnie przewidywać potrzeby klientów. Dzięki naszej specjalistycznej wiedzy opracowujemy rozwiązania dostosowane do indywidualnych potrzeb. By submitting this application you consent to the processing of your personal data by NATEK Poland (Q22, al. Jana Pawła II 22, 00-133 Warszawa) for the purposes of assesing your aplication for potentially suitable roles as described.You may withdraw your consent at any time by emailing to dataprotectionoffice@natek.euFor more information, please refer to our privacy policy https://natek.eu/privacy-policy/Consent statement agreement question:I understand and consent for my data to be processed in line with the Privacy Notice and Privacy Policy.