Big Data Developer

4 tygodni temu

polska, PL Connectis Pełny etat 21 zł

Razem z naszym Klientem, liderem w dziedzinie consultingu, poszukujemy specjalisty na stanowisko Big Data Developer. Nasz Klient to globalna firma doradczo-technologiczna specjalizująca się w usługach transformacji cyfrowej, integracji systemów oraz rozwoju rozwiązań IT dla wielu sektorów gospodarki. Projekt dotyczy migracji ogromnych wolumenów danych do nowoczesnych, otwartych formatów takich jak ORC/Parquet.



‍ TWOJA ROLA:


  • Projektowanie procesów obsługujących bardzo duże zbiory danych, w tym dzielenie danych na mniejsze fragmenty (chunking), konwersję do otwartych formatów oraz ładowanie danych do Hive z zachowaniem wydajności i integralności.

  • Migracja danych z formatu SAS SPDE w Hadoop do formatów otwartych (ORC/Parquet) oraz ich przeniesienie do środowiska VAST.

  • Współpraca z globalnymi zespołami klienta, raportowanie postępów i rozwiązywanie problemów związanych z dużą skalą danych.

  • Przygotowanie danych do udostępnienia poprzez Hive, w tym dla konsumentów korzystających z narzędzi Altair i Python.

  • Optymalizacja i automatyzacja procesów ETL/ELT w środowisku Big Data.



CZEGO OCZEKUJEMY OD CIEBIE?


  • Minimum 6 lat doświadczenia w pracy z platformami Big Data oraz zaawansowanej obróbce i analizie bardzo dużych zbiorów danych.

  • Praktyki w korzystaniu z silników i narzędzi przetwarzania: Hive (External Tables, Metastore, HiveServer2), Spark oraz Python.

  • Bardzo dobrej znajomości DML oraz stosowania partycjonowania w pracy z ogromnymi zbiorami danych.

  • Doświadczenie w zarządzaniu i optymalizacji przechowywania danych w środowiskach HDFS i VAST.

  • Znajomości formatów danych: Avro, ORC, Parquet.

  • Znajomości formatów tabel: Delta, Iceberg.

  • Otwartość na pracę 100% zdalną.

  • Język angielski - C1.

  • Start: ASAP.



Mile widziane:


  • Znajomość Starburst Databricks.



✨ OFERUJEMY:


  • Uczestnictwo w spotkaniach integracyjnych oraz meetupach technologicznych, umożliwiających dzielenie się wiedzą i doświadczeniem.

  • Wsparcie dedykowanego opiekuna Connectis, który zawsze jest dostępny, by pomóc Ci w sprawach związanych z projektem.

  • Rozwój kariery i długofalową współpracę w firmie o ugruntowanej pozycji na rynku.

  • 5000 PLN za polecenie znajomego do naszych projektów.

  • Dostęp do najnowszych technologii i narzędzi pracy.

  • Szybki i zdalny proces.



Dziękujemy za wszystkie zgłoszenia. Pragniemy poinformować, że skontaktujemy się z wybranymi osobami.


12257/PZ

  • Big Data Engineer

    3 tygodni temu

    Warząchewka Polska Senovo-It Pełny etat

    You would be responsible for designing and maintaining data ingestion pipelines, developing scalable cloud solutions using Cloudera, writing PySpark notebooks for business transformations, optimizing data systems, ensuring data quality and governance, and collaborating closely with architects and technical leads. The position also involves code reviews,...

  • Senior Java Developer @ Experis Polska

    2 tygodni temu

    Polska Experis Polska Pełny etat

    Senior Java Developer @ Experis Polska Poland You will join a team responsible for developing and modernizing backend systems and implementing cloud technologies. Your main tasks will include: creating data import processes to CDH setting up and maintaining infrastructure on CDH building pipelines for data import supporting backend service migration and...

  • NetSuite Developer

    4 dni temu

    Warząchewka Polska On The Spot Development Pełny etat

    On The Spot Development is looking for a NetSuite Developer to join an exciting project for Tower Auto Mall — a platform designed for car rental and leasing services for professional drivers. This position offers a very flexible workload — approximately 2-4 hours per day , making it an excellent option for specialists looking to combine this role with...

  • .NET Developer

    1 tydzień temu

    Warząchewka Polska Plum Sp. z o.o. Pełny etat

    .NET Developer Miejsce pracy: Ignatki (pow. białostocki) Technologie, których używamy Wymagane .NET Twój zakres obowiązków Rozwój backendu w oparciu o ASP.NET MVC (C#) Projektowanie oraz optymalizacja zapytań do relacyjnych baz danych (Microsoft SQL Server) z naciskiem na big data i analizę bardzo dużej ilości rekordów Tworzenie i rozwój REST...

  • Senior Data Engineer

    2 tygodni temu

    Polska ITFS Sp. z o.o. Pełny etat

    Wiodąca firma technologiczna w Polskim rynku poszukuje Senior Data Engineera (Snowflake/Azure) do pracy hybrydowej. Osoba na tym stanowisku będzie odpowiedzialna za projektowanie architektury danych oraz wdrażanie kluczowych funkcjonalności platformy. Wymagane jest min. 7 lat doświadczenia w rozwijaniu platform DWH/Big Data oraz bardzo dobra znajomość...

  • Data Scientist

    2 tygodni temu

    Polska Noxx Pełny etat

    We are building an advanced credit scoring system for international newcomers who lack domestic credit history. Our mission is to combine financial behavior data, banking transactions, demographic information, and behavioral patterns to create a fair and practical credit assessment model. To accelerate this initiative, we are seeking a high-level Data...

  • Data Consultant

    1 tydzień temu

    Warząchewka Polska BRAVER IT SPÓŁKA AKCYJNA Pełny etat

    Responsibilities: Provide consulting and technical guidance in designing a greenfield data lakehouse architecture. Build and optimize data models, schemas, and integration patterns. Develop scalable data storage and processing solutions using Azure and open-source components. Implement and tune data ingestion pipelines (ETL/ELT) and high-performance query...

  • Senior Solution Architect

    1 tydzień temu

    Polska Antal Pełny etat

    We are looking for an experienced Senior Solution Architect to join an international financial technology team and take ownership of designing scalable and reliable data solutions used across global markets. Be part of a globally impactful program shaping how data powers decision‑making at one of the world's largest institutions. Senior Solution Architect...

  • Azure Data Engineer

    6 dni temu

    Polska Svitla Systems Pełny etat 60 000 zł - 120 000 zł rocznie

    REMOTEPOLANDNovember 11, 2025Svitla Systems Inc. is looking for an Azure Data Engineer for a full-time position (40 hours per week) in Poland. Our client is a global multinational professional services company specializing in information technology (IT) services and management consulting.REQUIREMENTS3+ years of experience in data engineering.1+ years of...

  • Senior Data Engineer

    2 tygodni temu

    Polska ITFS Sp. z o.o. Pełny etat

    Senior Data Engineer (Snowflake/Azure) @ ITFS Sp. z o.o. Polska Miejsce pracy: Hybrydowo, 2× w tygodniu z biura w Warszawie, Gdańsku, Katowicach, Krakowie, Wrocławiu, Łodzi, Poznaniu, Rzeszowie, Szczecinie.Start: ASAP (max. 30 dni okresu wypowiedzenia).Godziny pracy: standardowe godziny biurowe.Projekt: budowa nowej, skalowalnej i bezpiecznej platformy...