Senior Data Engineer – AWS Databricks Python
3 tygodni temu
Poszukujemy doświadczonego Senior Data Engineera , który będzie odpowiedzialny za projektowanie, rozwój i utrzymanie nowoczesnych rozwiązań w zakresie przetwarzania i integracji danych. Osoba na tym stanowisku będzie blisko współpracować z analitykami, data scientistami oraz inżynierami ML, wspierając rozwój innowacyjnych projektów danych. Zakres obowiązków: Projektowanie, rozwój i utrzymanie potoków danych (data pipelines) służących do ekstrakcji, transformacji i ładowania danych (ETL/ELT) do jeziora danych (Data Lake) oraz hurtowni danych. Opracowywanie reguł transformacji oraz modelowania danych. Współpraca z analitykami produktowymi, data scientistami i ML engineerami w celu przygotowania i udostępniania danych w zrozumiały sposób. Implementacja mechanizmów kontroli jakości danych, utrzymywanie katalogów danych oraz wykorzystanie narzędzi do orkiestracji, logowania i monitorowania. Stosowanie podejścia Test Driven Development (TDD) przy budowie potoków ETL/ELT. Wykorzystanie Git (oraz różnych strategii branchingowych) w ramach kontroli wersji. Wymagania: 5-8 lat doświadczenia na stanowisku Data Engineer Bardzo dobra znajomość usług AWS (S3, IAM, Redshift, Sagemaker, Glue, Lambda, Step Functions, CloudWatch). Doświadczenie z platformami Databricks, Dataiku. Biegłość w Pythonie lub Javie, SQL (preferowany Redshift), Jenkins, CloudFormation, Terraform, Git, Docker. 2–3 lata doświadczenia z Apache Spark (PySpark). Dobre umiejętności komunikacyjne i dokumentacyjne (SDLC). Mile widziane: wiedza DSCS i DPTM. Oferujemy: Udział w innowacyjnych projektach w międzynarodowym środowisku. Możliwość pracy z najnowszymi technologiami chmurowymi i big data. Dynamiczny i wspierający zespół ekspertów.
-
Senior Data Engineer- Databricks
7 dni temu
Krakow, Polska HIQO SOLUTIONS sp. z o.o. Pełny etatSenior Data Engineer- Databricks Miejsce pracy: Kraków Technologies we use Expected Databricks Delta Lake Spark SQL Python SQL Apache Spark Microsoft Azure AWS Google Cloud Platform Optional Azure Data Factory Apache Airflow Snowflake Data Cloud Synapse Red Gate Unity Catalog Purview Microsoft Power BI Tableau About the project We are looking for a skilled...
-
Senior Data Engineer
3 dni temu
Krakow, Polska Addepto Pełny etatSenior Data Engineer (Databricks) Miejsce pracy: Kraków Technologies we use Expected Python Databricks SQL Microsoft Azure Optional Airflow Dagster Apache Spark Microsoft Power BI Azure Event Hub Kafka Terraform Operating system Windows macOS About the project As a Senior Data Engineer, you will have the exciting opportunity to work with a team of...
-
Data Engineer with Databricks
7 dni temu
Krakow, Polska KMD Poland Pełny etatLocation: Warsaw (Inflancka 4A) or Remote Work (Poland) B2B Contract, Targeted Salary: 150 - 170 PLN Net/Hour Python ApacheSpark Databricks MSSQL Git CI/CD Docker Azure Kubernetes Are you ready to join our international team as a Data Engineer with Databricks ? We shall tell you why you should What products do we develop? KMD Elements is a cloud-based...
-
Data Engineer
3 dni temu
Krakow, Polska Addepto Pełny etatData Engineer (Databricks) Miejsce pracy: Kraków Technologies we use Expected Python Databricks SQL Microsoft Azure Optional Airflow Dagster Apache Spark Microsoft Power BI Azure Event Hub Kafka Terraform Operating system Windows macOS About the project As a Data Engineer, you will have the exciting opportunity to work with a team of technology experts on...
-
Implementation Engineer Data Engineer
7 dni temu
Krakow, Polska Upvanta sp. z o.o. Pełny etatImplementation Engineer / Data Engineer Lokalizacja: praca zdalna / hybrydowa (do ustalenia) Rodzaj współpracy: B2B Poziom: Mid / Senior Opis stanowiska Poszukujemy Implementation Engineer / Data Engineer , czyli osoby, która łączy analityczne myślenie z umiejętnościami technicznymi i potrafi samodzielnie dostarczać kompleksowe, data-driven...
-
Data Engineer
7 dni temu
Krakow, Polska Sollers Consulting Pełny etatData Engineer (with Snowflake/Databricks) Miejsce pracy: Kraków Technologies we use Expected Azure AWS SQL Python About the project Versatility is the keyword when it comes to what we do in IT. Data Competency is one of our initiatives to support digital transformation of financial sector, enabling our customers to become truly data-driven companies. Our...
-
Krakow, Polska Kolomolo Pełny etatLead Data Platform Engineer (Databricks/ Data Mesh Architecture) Location: European Union (Remote or Hybrid) Full-Time Join the Future of Digital Tech with Kolomolo At Kolomolo , we don't just follow trends - we set them. As a global supplier of IT services and digital modernization solutions, we help businesses embrace cutting-edge technology to optimize...
-
Data Engineer
2 tygodni temu
Krakow, Polska DCV Technologies Pełny etatData Engineer - Python/PySpark We are looking for Data Engineer - Python/PySpark on behalf of our client to join to the leader from the largest Swiss financial holding company. Work mode: Hybrid – 3 days in the office from Krakow B2B Contract Job description: 6–9 years of experience in data engineering or related roles. Strong programming skills in...
-
Mid Data Engineer Databricks
2 tygodni temu
Krakow, Polska N-iX Pełny etat4362 Join our team to work on enhancing a robust data pipeline that powers our SaaS product, ensuring seamless contextualization, validation, and ingestion of customer data. Collaborate with product teams to unlock new user experiences by leveraging data insights. Engage with domain experts to analyze real-world engineering data and build data quality...
-
Senior Machine Learning Engineer
3 dni temu
Krakow, Polska ENTRADA AI SPÓŁKA Z OGRANICZONĄ ODPOWIEDZIALNOŚCIĄ Pełny etatSenior Machine Learning Engineer Miejsce pracy: Kraków Technologie, których używamy Wymagane Machine Learning Databricks Python MLflow MLOps Mile widziane TensorFlow Pytorch scikit-learn AWS Azure DevOps O projekcie Entrada AI, Inc. is seeking an experienced Senior Machine Learning Engineer to join our growing team of consultants. In this role, you will...
