Programista Big Data z Apache Spark

2 tygodni temu

Warszawa, mazowieckie, Polska Sii Pełny etat

Poszukujemy Programisty Big Data z Apache Spark do projektu realizowanego dla klienta z sektora bankowego. Osoba na tym stanowisku będzie rozwijać i utrzymywać rozwiązania oparte na technologii Spark, przetwarzające duże wolumeny danych w środowisku Hadoop Cloudera/Hortonworks. Idealny kandydat posiada doświadczenie w pracy z PySpark, rozumie koncepcje hurtowni danych oraz ma solidne podstawy inżynierii danych i dobrych praktyk programistycznych.

Praca w modelu hybrydowym: 2 razy w miesiącu z biura klienta w Warszawie.


Twoje zadania

  • Projektowanie i rozwijanie rozwiązań Big Data z wykorzystaniem Apache Spark

  • Przetwarzanie i integracja danych z różnych źródeł w środowisku Hadoop

  • Modelowanie danych oraz optymalizacja procesów przetwarzania

  • Praca z różnymi formatami danych (JSON, PARQUET, ORC, AVRO)

  • Projektowanie, kodowanie, testowanie i wdrażanie rozwiązań zgodnie z dobrymi praktykami inżynierskimi

  • Współpraca z zespołami analityków i inżynierów danych w środowisku Agile


Wymagania

  • Min. 2 lata doświadczenia w programowaniu w Apache Spark (preferowany PySpark)

  • Bardzo dobra znajomość koncepcji Big Data, hurtowni danych i zarządzania danymi

  • Doświadczenie w środowisku Hadoop Cloudera/Hortonworks

  • Umiejętność pracy z dużymi zbiorami danych i ich integracji z wielu źródeł

  • Znajomość języka SQL na poziomie zaawansowanym

  • Wykształcenie wyższe techniczne (preferowane kierunki informatyczne lub pokrewne)

  • Wymagane przebywanie na terenie Polski oraz płynna znajomość języka polskiego


Mile widziane

  • Doświadczenie w pracy w środowisku Agile

  • Znajomość Kubeflow i technologii strumieniowych (Apache Kafka, Apache NiFi)

  • Wiedza z zakresu automatyzacji procesów CI/CD


Benefity, które czekają na Ciebie:

  • Tytuł Great Place to Work od 2015 roku - to dzięki opiniom pracowników otrzymujemy tytuł i wdrażamy nowe pomysły

  • Stabilność zatrudnienia - 2,1 MLD PLN przychodu, brak długów, od 2006 roku na rynku

  • Dzielimy się zyskiem z pracownikami - od 2022 roku przeznaczyliśmy na ten cel już ponad 76 milionów PLN

  • Bogaty pakiet benefitów - prywatna opieka zdrowotna, platforma kafeteryjna, zniżki na samochody i więcej

  • Komfortowe miejsce pracy - pracuj w naszych biurach klasy A lub zdalnie

  • Dziesiątki fascynujących projektów dla prestiżowych marek z całego świata

  • 1 000 000 PLN rocznie na Twoje pomysły - taką kwotą wspieramy pasje i akcje wolontariackie naszych pracowników

  • Stawiamy na Twój rozwój - meetupy, webinary, platforma szkoleniowa i blog technologiczny – Ty wybierasz

  • Fantastyczna atmosfera stworzona przez wszystkich Sii Power People


Dołącz do zespołu Sii – rozwijaj umiejętności, zdobywaj doświadczenie i buduj karierę

  • Programista/-ka Python

    6 dni temu

    Warszawa, mazowieckie, mazowieckie, Polska Axians IT Poland Sp. z o.o. Pełny etat

    Programista/-ka PythonMiejsce pracy: WarszawaTwój zakres obowiązkówProjektowanie i implementacja procesów ETL/ELT w środowisku on-premise.Tworzenie i optymalizacja kodu w Python w projektach Big Data.Budowa i zarządzanie DAG-ami w Apache Airflow (orkiestracja procesów).Przetwarzanie dużych zbiorów danych z wykorzystaniem Apache Spark i...

  • Programista -ka Python

    2 tygodni temu

    Warszawa, mazowieckie, Polska Axians IT Poland Pełny etat

    Programista/-ka PythonJakie będę Twoje główne obowiązki?Projektowanie i implementacja procesów ETL/ELT w środowisku on-premise.Tworzenie i optymalizacja kodu w Python w projektach Big Data.Budowa i zarządzanie DAG-ami w Apache Airflow (orkiestracja procesów).Przetwarzanie dużych zbiorów danych z wykorzystaniem Apache Spark i Hadoop.Optymalizacja...

  • Hadoop Big Data Developer

    3 tygodni temu

    Warszawa, mazowieckie, mazowieckie, Polska Sii Sp. z o.o. Pełny etat

    Hadoop Big Data DeveloperMiejsce pracy: WarszawaTechnologies we useExpectedScalaApache SparkApache HadoopYarnSqoopHiveIMPALAMapReduceOozieSQLGitJenkinsBambooAnsibleLinuxShellBashOracleJavaOptionalApache FlinkApache KafkaAWSMicrosoft AzurePythonGrafanaPrometheusELK StackElasticsearchLogstashKibanaJupyterzeppelinDockerKubernetesTerraformAnibleApache...

  • Big Data Developer

    1 tydzień temu

    Warszawa, mazowieckie, Polska 7N Pełny etat 23 zł - 520 zł

    Dla naszego klienta, który od lat wyznacza kierunek rozwoju bankowości elektronicznej w Polsce poszukujemy doświadczonego Big Data Developera, który będzie projektować, tworzyć i optymalizować kluczowe mechanizmy streamingowe, wspierające procesy analityczne i operacyjne.Lokalizacja: 90% praca zdalna z dowolnego miejsca w Polsce. Spotkania...

  • Big Data Developer

    2 tygodni temu

    Warszawa, mazowieckie, mazowieckie, Polska Connectis Pełny etat

    Big Data DeveloperMiejsce pracy: WarszawaTechnologie, których używamyWymaganeSparkScalaSQLHiveMile widzianePythonJavaAzure DevopsAirflowGitSystem operacyjnyLinuxO projekcieRazem z naszym Partnerem, jednym z europejskich liderów w branży bankowej, poszukujemy osób na stanowiska Big Data / Data Engineer. Projekty dotyczą bankowości B2B i B2C, obejmując...

  • Big Data Engineer with Spark and Scala

    2 tygodni temu

    Warszawa, mazowieckie, Polska Sii Pełny etat

    We are looking for an experienced Big Data Engineer to join our data engineering team responsible for creating and evolving a next-generation data platform. This platform plays a key role in supporting a variety of business functions and engaging with multiple stakeholders across the organization.Your tasksDesign, develop, and maintain scalable data...

  • Data Engineer Spark

    4 dni temu

    Warszawa, mazowieckie, Polska Addepto Pełny etat 15 zł - 120 zł

    Addepto is a leading AI consulting and data engineering company that builds scalable, ROI-focused AI solutions for some of the world’s largest enterprises and pioneering startups, including Rolls Royce, Continental, Porsche, ABB, and WGU. With our exclusive focus on Artificial Intelligence and Big Data, we help organizations unlock the full potential of...

  • Big Data Engineer

    2 dni temu

    Warszawa, mazowieckie, mazowieckie, Polska Allegro Pełny etat

    Big Data EngineerMiejsce pracy: WarszawaTechnologies we useExpectedScalaJavaSparkApache BeamGoogle Cloud PlatformAzureAWSUnixLinuxAbout the projectFlexible working hours in an office first model (4/1) that depend on you and your team. Starting later or finishing earlier? No problem! Work hours keep pace with our lifestyles and can start between 7 a.m. and 10...

  • Big Data Engineer

    4 dni temu

    Warszawa, mazowieckie, Polska Allegro Pełny etat 14 zł - 200 zł

    Important things for you Flexible working hours in an office first model (4/1) that depend on you and your team. Starting later or finishing earlier? No problem! Work hours keep pace with our lifestyles and can start between 7 a.m. and 10 a.m.The salary range for this position depending on the skill set is as follows (contract of employment, tax-deductible...

  • Big Data Developer

    2 tygodni temu

    Warszawa, mazowieckie, Polska Connectis Pełny etat 30 zł - 240 zł

    Razem z naszym Partnerem, jednym z europejskich liderów w branży bankowej, poszukujemy osób na stanowiska Big Data / Data Engineer. Projekty dotyczą bankowości B2B i B2C, obejmując platformy dla dużych kredytów i profesjonalnych pożyczek oraz aplikacje wspierające transformację cyfrową.‍ TWOJA ROLA:Zapewnienie jakości oprogramowania poprzez...