Data Engineer

Data Engineer Miejsce pracy: Warszawa Technologie, których używamy Wymagane Python Scala SQL Hadoop Hive Apache Spark PySpark Docker Kubernetes AWS Git Mile widziane Apache Airflow Apache Kafka Azure GCP MongoDB Cassandra Elasticsearch Terraform Prometheus Grafana Tableau Microsoft Power BI O projekcie Projekt realizowany jest dla międzynarodowej organizacji budującej nowoczesną platformę Big Data do gromadzenia i przetwarzania danych biznesowych w dużej skali (setki milionów rekordów dziennie). Zakres współpracy obejmuje projektowanie i wdrażanie infrastruktury danych – od pipeline'ów strumieniowych po hurtownie danych wspierające analizy i modele Machine Learning. Środowisko oparte jest na chmurze AWS oraz narzędziach open-source, z dużym naciskiem na automatyzację procesów (Infrastructure as Code, CI/CD) i dobre praktyki inżynierii danych. Twój zakres obowiązków Tworzenie i utrzymanie wydajnych pipeline'ów danych – procesów ETL/ELT do ekstrakcji, przekształcania i ładowania dużych wolumenów danych z różnych źródeł. Projektowanie i implementacja hurtowni danych / data lake – budowa architektury przechowywania danych (HDFS/S3, bazy kolumnowe) zapewniającej skalowalność i bezpieczeństwo. Programowanie rozproszonych zadań przetwarzania danych z użyciem Apache Spark oraz optymalizacja ich działania (tuning jobów, zarządzanie zasobami w klastrze). Integracja danych strumieniowych i czasu rzeczywistego (konfiguracja i obsługa platform typu Kafka oraz przetwarzanie streamów w Spark Streaming lub Flink). Automatyzacja harmonogramu zadań przetwarzania (workflow) za pomocą narzędzi Apache Airflow – definiowanie DAG, monitorowanie wykonania, obsługa błędów. Wdrażanie najlepszych praktyk DataOps: kontrola wersji dla kodu transformacji danych (Git), code review, testy integracyjne pipeline'ów, ciągła integracja i deployment procesów danych. Współpraca z analitykami danych, data scientistami oraz developerami – dostarczanie im odpowiednio przygotowanych i świeżych danych, rozwiązywanie problemów związanych z dostępnością i jakością danych. Dokumentowanie architektury platformy danych, procesów ETL oraz schematów przetwarzania w celu utrzymania wiedzy w zespole. Nasze wymagania Co najmniej 3 lata doświadczenia na stanowisku Data Engineer lub pokrewnym (Big Data Developer, ETL Developer). Biegła znajomość Python (w kontekście przetwarzania danych – skrypty ETL, biblioteki Pandas, PySpark) oraz dobra znajomość SQL (złożone zapytania, optymalizacja). Doświadczenie w pracy z technologiami Big Data: praktyczna znajomość ekosystemu Hadoop (HDFS, Hive) i frameworka Spark do obliczeń rozproszonych na dużą skalę. Umiejętność projektowania architektury hurtowni danych i data lake – rozumienie zasad modelowania danych (np. model gwiazdy, partycjonowanie, formaty kolumnowe Parquet/ORC). Znajomość narzędzi orkiestracji procesów i automatyzacji workflow (preferowany Apache Airflow lub podobne). Dobra orientacja w środowisku chmurowym (np. AWS lub Azure) – potrafisz wykorzystać usługi chmurowe do budowy pipeline'ów danych (przechowywanie, przetwarzanie, analityka). Doświadczenie w konteneryzacji i orkiestracji – umiejętność uruchamiania zadań w Dockerze, podstawy Kubernetes (deploy, zarządzanie jobami w klastrze). Znajomość zagadnień optymalizacji zapytań i procesów ETL (analiza planów zapytań, rozpoznawanie wąskich gardeł, skalowanie horyzontalne vs. pionowe). Praktyka w pracy z systemem kontroli wersji Git oraz w tworzeniu współdzielonych repozytoriów kodu (pull requesty, code review w projektach data). Wykształcenie wyższe (informatyka, matematyka, inżynieria danych lub pokrewne). Zdolności analityczne, dokładność i sumienność w pracy z danymi – dbałość o ich jakość i spójność. Umiejętność rozwiązywania złożonych problemów technicznych oraz optymalizacyjnych, kreatywność w znajdowaniu usprawnień. Komunikatywność i umiejętność pracy w zespole – współpraca z innymi inżynierami i interesariuszami biznesowymi. Znajomość języka angielskiego na poziomie umożliwiającym swobodną pracę z dokumentacją techniczną i komunikację (min. B2). Mile widziane Certyfikaty chmurowe (np. AWS Certified Data Analytics, Azure Data Engineer) lub inne potwierdzające kompetencje w obszarze Big Data. Doświadczenie w przetwarzaniu danych strumieniowych real-time (Apache Kafka, Apache Flink). Znajomość zagadnień Machine Learning od strony inżynierii (przygotowanie danych dla data science, wdrażanie modelu na pipeline). Praktyczne doświadczenie z narzędziami Infrastructure as Code (Terraform, CloudFormation) w kontekście infrastruktury danych. Udział w projektach opartych o metodyki zwinne (Scrum/Kanban) – umiejętność szybkiego dostosowania się do zmiany wymagań i ścisłej współpracy z zespołem produktowym. Poczucie odpowiedzialności za dane – świadomość kwestii bezpieczeństwa, prywatności (RODO) i jakości danych w organizacji. Tak organizujemy naszą pracę Liczba osób w zespole brak informacji Skład zespołu backend developer data scientist Tak pracujemy nad projektem code review Continuous Integration wsparcie architekta / lidera technicznego dokumentacja zarządzanie długiem technologicznym testy funkcjonalne testy integracyjne Takie dajemy możliwości rozwoju czas na rozwój Twoich pomysłów wymiana wiedzy technicznej w firmie Klikając w przycisk "Aplikuj" lub w inny sposób wysyłając zgłoszenie rekrutacyjne, zgadzasz się na przetwarzanie Twoich danych osobowych przez RANDLAB SOFTWARE sp. z o.o. z siedzibą w: Henryka Siemiradzkiego 11, 33-300 Nowy Sącz (Pracodawca), jako administratora danych osobowych w celu przeprowadzenia rekrutacji na stanowisko wskazane w ogłoszeniu. Twoje dane osobowe będą przetwarzane w oparciu o następujące podstawy prawne: (a) aby podjąć działania na Twoje żądanie przed zawarciem umowy (np. informacje o oczekiwanym wynagrodzeniu i dostępności do rozpoczęcia pracy); (b) w oparciu o nasz prawnie uzasadniony interes (np. imię, nazwisko, data urodzenia, dane kontaktowe, wykształcenie, kwalifikacje zawodowe, przebieg dotychczasowego zatrudnienia); c) w oparciu o Twoją zgodę, która wyrażona jest poprzez przeslanie dokumentów aplikacyjnych zawierających takie informacje jak np. wizerunek czy zainteresowania.Podanie wszystkich danych osobowych, o których mowa powyżej jest dobrowolne, natomiast dane wymienione w lit. a) i b) są niezbędne do wzięcia udziału w rekrutacji. Niepodanie danych skutkuje brakiem możliwości rozpatrzenia kandydatury. Podanie pozostałych danych jest dobrowolne, ale może pomóc w sprawnym przeprowadzeniu procesu rekrutacji.Masz prawo żądać dostępu do Twoich danych (w tym uzyskania ich kopii), sprostowania danych, ich usunięcia, ograniczenia przetwarzania, przeniesienia, jak również wniesienia sprzeciwu wobec ich przetwarzania. Masz także prawo wniesienia skargi do Prezesa Urzędu Ochrony Danych Osobowych.Twoje dane osobowe mogą zostać przekazane dostawcom usługi publikacji ogłoszeń o pracę, dostawcom systemów do zarządzania rekrutacjami, dostawcom usług IT (hosting), dostawcom systemów informatycznych.Podane przez Ciebie dane osobowe nie będą wykorzystywane w celu profilowania albo podejmowania decyzji w sposób zautomatyzowany.Twoje dane osobowe będą przetwarzane przez okres maks. 1 roku od zakończenia publikacji ogłoszenia, chyba, że wyraziłeś odrębną zgodę na wykorzystanie Twoich danych osobowych w przyszłych rekrutacjach.W celu realizacji praw lub w przypadku jakichkolwiek pytań związanych z przetwarzaniem Twoich danych osobowych skontaktuj się z nami pod adresem: ewa.bartosik@randlab.pl.