Data Engineer

3 dni temu

Kraków, Województwo małopolskie, Polska Clurgo Pełny etat 180 000 zł - 250 000 zł/rok

Clurgo to firma stworzona przez developerów dla developerów. Nasze zespoły łączą pełne spektrum kompetencji - od rozwoju oprogramowania i infrastruktury, przez analizę oraz testy, aż po strategiczne zarządzanie produktem i procesami. Realizujemy różnorodne projekty IT dla klientów z wielu branż, dbając o dobre praktyki programistyczne i zachowanie work-life balance. Tworzymy rozwiązania, które mają znaczenie - dla firm w Polsce i na całym świecie.

  • Dołącz do projektu dużej organizacji z sektora finansowego, w którym będziesz odpowiadać za rozwój i utrzymanie rozwiązań z obszaru Big Data oraz data engineering.
  • Technologie i narzędzia: PySpark, Python, Apache Spark, GCP, Airflow, Apache Hadoop, YARN, Hive, Spark SQL, SQL, Git, GitHub, Ansible, Jenkins

Szukamy Ciebie, jeśli:

  • masz praktyczne doświadczenie w rozwoju i projektowaniu rozwiązań z wykorzystaniem PySpark lub Scala
  • posiadasz doświadczenie z Google Cloud Platform (GCP)
  • masz doświadczenie w budowaniu i utrzymywaniu data pipelines
  • pracowałeś/aś z Airflow
  • znasz większość z wymienionych technologii: Python, Apache Hadoop, YARN, Hive, Spark SQL, Map Reduce oraz SQL
  • swobodnie pracujesz w środowisku Unix/Linux
  • masz doświadczenie z Git i GitHub
  • znasz narzędzia automatyzacji deploymentu, takie jak Ansible i Jenkins
  • swobodnie prezentujesz rozwiązania zarówno odbiorcom biznesowym, jak i technicznym
  • komunikujesz się swobodnie w języku angielskim

Mile widziane:

  • doświadczenie z Elasticsearch
  • doświadczenie w tworzeniu rozwiązań z wykorzystaniem Java APIs
  • doświadczenie w procesach data ingestion

Zadania:

  • projektowanie, rozwój i utrzymanie data pipelines w środowisku GCP
  • rozwój rozwiązań opartych o PySpark / Apache Spark
  • automatyzacja i harmonogramowanie procesów z wykorzystaniem Airflow
  • wykorzystanie Git/GitHub oraz narzędzi, takich jak Ansible i Jenkins
  • współpraca z zespołami technicznymi oraz biznesem
  • prezentowanie rozwiązań i postępów prac odbiorcom technicznym i nietechnicznym
  • wsparcie w realizacji zadań pozostałych członków zespołu
  • identyfikowanie możliwości wykorzystania AI do przyspieszania i automatyzacji procesów

Czego możesz się spodziewać:

  • współpracy w oparciu o kontrakt B2B
  • pracy hybrydowej: 8 dni w miesiącu z biura w Krakowie
  • profesjonalnego procesu rekrutacyjnego – zawsze otrzymasz od nas feedback niezależnie od decyzji

Poznaj nas lepiej https://www.facebook.com/clurgo/