Mid Data Engineer

2 dni temu

Szczecin, Województwo zachodniopomorskie, Polska RemoDevs Pełny etat 167 000 zł - 234 000 zł Umowa

Projekt data engineeringowy na 3–6 miesięcy, w którym głównym zadaniem będzie rozwijanie, utrzymanie i optymalizacja pipeline'ów danych w PySpark oraz praca z Databricks przy przetwarzaniu dużych zbiorów. Będziesz integrować dane z różnych źródeł, optymalizować zapytania SQL, wdrażać kontrole jakości danych i rozwiązywać problemy wydajnościowe. To oferta dla samodzielnego inżyniera danych na poziomie mid, dla którego PySpark jest kluczową kompetencją, a Databricks to obszar do dalszego rozwoju.

Wymagania

  • mocne, praktyczne doświadczenie z PySpark (kluczowe wymaganie)
  • komercyjne doświadczenie w Data Engineering na poziomie mid
  • bardzo dobra znajomość SQL i technik transformacji danych
  • praktyczne rozumienie Apache Spark i przetwarzania rozproszonego
  • podstawowe praktyczne doświadczenie z Databricks
  • doświadczenie w budowie i utrzymaniu pipeline'ów ETL/ELT
  • znajomość środowisk chmurowych (Azure, AWS lub GCP)