Data Engineer GCP
4 tygodni temu
Projekt realizowany jest w obszarze budowy i utrzymania Customer Data Platform (CDP) opartej o architekturę Data Lakehouse w środowisku Google Cloud Platform (GCP) .Zakres współpracy obejmuje tworzenie i rozwój potoków danych batch/stream , integracje CDC (Change Data Capture) oraz budowę warstw danych Bronze / Silver / Gold w BigQuery .Priorytetem jest jakość danych, zgodność z regulacjami RODO oraz utrzymanie pełnego data lineage . Twój zakres obowiązków Projektowanie i rozwój potoków danych (ETL/ELT) w GCP: Dataflow (Apache Beam, Python), Composer (Airflow), Pub/Sub. Implementacja i utrzymanie strumieniowania/CDC (np. MySQL → Datastream → BigQuery). Modelowanie danych w BigQuery (partycje, klastrowanie, optymalizacja zapytań) i praca w warstwach Bronze/Silver/Gold. Zarządzanie katalogiem/metadanymi, DQ i lineage (Dataplex) oraz transformatami SQL (Dataform). Współpraca z IT/PM, code review, CI/CD, monitoring i alertowanie w chmurze. Nasze wymagania Doświadczenie jako Data Engineer w kilku projektach cloud (preferencyjnie GCP). GCP: BigQuery, Cloud Storage, Dataflow (Beam, Python), Composer (Airflow), Pub/Sub, Datastream, Dataplex, Dataform. Bardzo dobra znajomość Python oraz SQL (dialekt BigQuery). Doświadczenie z MySQL jako źródłem danych (transakcyjne), praktyka w CDC. Architektura Medalionowa (Bronze/Silver/Gold), ETL/ELT. Data Governance/RODO, Data Quality, Data Lineage, deduplikacja klientów, wersjonowanie danych. Git i CI/CD (np. Cloud Build), monitoring/logging w GCP. Komunikacja i współpraca w zespole, angielski do pracy w środowisku międzynarodowym. Mile widziane Doświadczenie z PostgreSQL/MS SQL jako dodatkowymi źródłami. Optymalizacja kosztów BigQuery (partycjonowanie/klastrowanie, MV). Praktyka w projektowaniu kontraktów danych i testów w Dataform/dbt-like.
-
Data Engineer GCP
3 dni temu
Warsaw, Polska TQLO SPÓŁKA Z OGRANICZONĄ ODPOWIEDZIALNOŚCIĄ Pełny etatNasz Klient to międzynarodowa organizacja technologiczna, która buduje i rozwija zaawansowany ekosystem danych w środowisku Google Cloud Platform . Zespół odpowiada za projektowanie, rozwój i optymalizację architektury danych, wspierającej kluczowe procesy biznesowe i decyzyjne w skali globalnej. Dołączysz do zespołu ekspertów, w którym jako...
-
Senior Data Engineer GCP
3 dni temu
Warsaw, Polska TQLO SPÓŁKA Z OGRANICZONĄ ODPOWIEDZIALNOŚCIĄ Pełny etatNasz Klient to międzynarodowa organizacja technologiczna, która buduje nowoczesny ekosystem danych w chmurze Google Cloud Platform. Zespół odpowiada za projektowanie, rozwój i optymalizację hurtowni danych oraz procesów przetwarzania dużych wolumenów informacji. Szukamy doświadczonego Senior Data Engineera z GCP , który wesprze zespół w...
-
Data Engineer
3 tygodni temu
Warsaw, Polska Capgemini Polska Pełny etatData Engineer (GCP) Miejsce pracy: Warszawa Technologies we use Operating system Windows Linux About the project Choosing Capgemini means choosing a company where you will be empowered to shape your career in the way you'd like, where you'll be supported and inspired by a collaborative community of colleagues around the world, and where you'll be able to...
-
GCP Data Engineer
3 dni temu
Warsaw, Polska Lingaro Pełny etatGrowth through diversity, equity, and inclusion. As an ethical business, we do what is right — including ensuring equal opportunities and fostering a safe, respectful workplace for each of us. We believe diversity fuels both personal and business growth. We're committed to building an inclusive community where all our people thrive regardless of their...
-
Data Engineer
2 tygodni temu
Warsaw, Polska NEONTRI SPÓŁKA Z OGRANICZONĄ ODPOWIEDZIALNOŚCIĄ Pełny etatData Engineer (ETL/GCP) Miejsce pracy: Warszawa Technologie, których używamy Wymagane SQL PL/SQL Oracle PostgreSQL BigQuery Python GCP Informatica PowerCenter Kafka Mile widziane Java Groovy Grafana O projekcie Obecnie dla naszego Klienta z branży bankowej poszukujemy Data Engineera (ETL/GCP) Projekt: prace związane z przetwarzaniem danych w hurtowniach...
-
Senior Data Engineer GCP BigQuery DBT
1 tydzień temu
Warsaw, Polska DCV Technologies Pełny etatRole Description We are looking for a skilled Data Engineer to design, build, and optimize data solutions on Google Cloud Platform (GCP) . The role involves migrating existing solutions, developing new data products, and collaborating closely with architects, business experts, and data teams to support analytics and Machine Learning/AI initiatives....
-
Senior Data Engineer GCP Developer ETL
3 tygodni temu
Warsaw, Polska RITS Professional Services Pełny etatSenior Data Engineer GCP / Developer ETL RITS Group to firma informatyczna, która oferuje najwyższej jakości usługi programistyczne zarówno dla rynku polskiego, jak i międzynarodowego. Jesteśmy dumni, że należymy do grona najszybciej rozwijających się spółek technologicznych. Naszym priorytetem jest jakość oraz innowacyjność dostarczanych...
-
DevOps Engineer
4 tygodni temu
Warsaw, Polska RANDLAB SOFTWARE sp. z o.o. Pełny etatDevOps Engineer (GCP) Miejsce pracy: Warszawa Technologie, których używamy Wymagane GCP Terraform Jenkins Docker Kubernetes Linux Git Python Bash Mile widziane Ansible Tower Prometheus Grafana ELK Stack Helm ArgoCD Cloud SQL BigQuery Pub/Sub Data Fusion Airflow Java Go System operacyjny Linux O projekcie Projekt obejmuje rozwój i utrzymanie stabilnych...
-
Data Engineer
1 tydzień temu
Warsaw, Polska Capgemini Polska Pełny etatData Engineer (GCP) Miejsce pracy: Warszawa Technologies we use Expected SQL Python GitLab Snowflake Optional Microsoft SSIS Microsoft SSAS Microsoft SSRS Operating system Windows Linux About the project Choosing Capgemini means choosing a company where you will be empowered to shape your career in the way you'd like, where you'll be supported and inspired...
-
GCP Cloud Engineer
1 tydzień temu
Warsaw, Polska T-Mobile Pełny etatGCP Cloud Engineer Miejsce pracy: Warszawa Technologie, których używamy Wymagane GCP Terraform Prometheus Grafana Opensearch Dynatrace JIRA Confluence Git GitLab Mile widziane Vertex AI Looker BigQuery Dataproc Python Bash System operacyjny Linux O projekcie Zespół Cloud T-Mobile jest odpowiedzialny za tworzenie AWS Landing Zone Mozart oraz nowej Landing...
