Mid Data Engineer
Zapisz tę ofertę pracy i uporządkuj wyszukiwanie
Utwórz bezpłatne konto, aby zapisywać oferty pracy, tworzyć alerty i wracać do tego ogłoszenia ze swojego pulpitu nawigacyjnego.
Kontynuując, akceptujesz nasze Warunki & Politykę prywatności.
Projekt data engineeringowy na 3–6 miesięcy, w którym głównym zadaniem będzie rozwijanie, utrzymanie i optymalizacja pipeline'ów danych w PySpark oraz praca z Databricks przy przetwarzaniu dużych zbiorów. Będziesz integrować dane z różnych źródeł, optymalizować zapytania SQL, wdrażać kontrole jakości danych i rozwiązywać problemy wydajnościowe. To oferta dla samodzielnego inżyniera danych na poziomie mid, dla którego PySpark jest kluczową kompetencją, a Databricks to obszar do dalszego rozwoju.
Wymagania
- mocne, praktyczne doświadczenie z PySpark (kluczowe wymaganie)
- komercyjne doświadczenie w Data Engineering na poziomie mid
- bardzo dobra znajomość SQL i technik transformacji danych
- praktyczne rozumienie Apache Spark i przetwarzania rozproszonego
- podstawowe praktyczne doświadczenie z Databricks
- doświadczenie w budowie i utrzymaniu pipeline'ów ETL/ELT
- znajomość środowisk chmurowych (Azure, AWS lub GCP)