Data Engineer

2 tygodni temu

Lublin, Lubelskie, Polska Datumo Pełny etat

Datumo specializes in providing Big Data and Cloud consulting services to clients from all over the world, primarily in Western Europe, Poland and the USA. Core industries we support include e-commerce, telecommunications and life science. Our team consists of exceptional people whose commitment allows us to conduct highly demanding projects.

Our team members tend to stick around for more than 3 years, and when a project wraps up, we don't let them go - we embark on a journey to discover exciting new challenges for them. It's not just a workplace; it's a community that grows together

What we expect:

Must-have:

  • at least 3 years of commercial experience in Big Data
  • proven record with a selected cloud provider GCP preferred, Azure or AWS
  • good knowledge of Scala/Java /JVM
  • good knowledge of Python
  • understanding of Spark or similar distributed data processing framework
  • experience with BigQuery, Snowflake, Hive or similar distributed datastore
  • designing and implementing Big Data systems following best practices
  • ensuring solution quality through automatic tests, CI / CD and code review
  • proven collaboration with businesses
  • English proficiency at B2 level, communicative in Polish

Nice to have:

  • experience in Snowflake/Databricks platform
  • familiarity with Airflow or similar pipeline orchestrator
  • knowledge of Apache Kafka, Docker and Kubernetes technologies
  • experience in Machine Learning projects
  • experience in Flink
  • willingness to share knowledge (conferences, articles, open-source projects)

What's on offer:

  • 100% remote work, with workation opportunity
  • 20 free days
  • onboarding with a dedicated mentor
  • project switching possible after a certain period
  • individual budget for training and conferences
  • benefits: Medicover private medical care, co-financing of the Medicover Sport card
  • opportunity to learn English with a native speaker
  • regular company trips and informal get-togethers

Development opportunities in Datumo:

  • participation in industry conferences
  • establishing Datumo's online brand presence
  • support in obtaining certifications (e.g. GCP, Azure, Snowflake)
  • involvement in internal initiatives, like building technological roadmaps
  • training budget
  • access to internal technological training repositories

Discover our exemplary projects:

IoT data ingestion to cloud

The project integrates data from edge devices into the cloud using Azure services. The platform supports data streaming via either the IoT Edge environment with Java or Python modules, or direct connection using Kafka protocol to Event Hubs. It also facilitates batch data transmission to ADLS. Data transformation from raw telemetry to structured tables is done through Spark jobs in Databricks or data connections and update policies in Azure Data Explorer.

Petabyte-scale data platform migration to Google Cloud

The goal of the project is to improve scalability and performance of the data platform by transitioning over a thousand active pipelines to GCP. The main focus is on rearchitecting existing Spark applications to either Cloud Dataproc or Cloud BigQuery SQL, depending on the Client's requirements and automate it using Cloud Composer.

Data analytics platform for investing company

The project centers on developing and overseeing a data platform for an asset management company focused on ESG investing. Databricks is the central component. The platform, built on Azure cloud, integrates various Azure services for diverse functionalities. The primary task involves implementing and extending complex ETL processes that enrich investment data, using Spark jobs in Scala. Integrations with external data providers, as well as solutions for improving data quality and optimizing cloud resources, have been implemented.

Realtime Consumer Data Platform

The initiative involves constructing a consumer data platform (CDP) for a major Polish retail company. Datumo actively participates from the project's start, contributing to planning the platform's architecture. The CDP is built on Google Cloud Platform (GCP), utilizing services like Pub/Sub, Dataflow and BigQuery. Open-source tools, including a Kubernetes cluster with Apache Kafka, Apache Airflow and Apache Flink, are used to meet specific requirements. This combination offers significant possibilities for the platform.

Recruitment process:

  • Quiz - 15 minutes
  • Soft skills interview - 30 minutes
  • Technical interview - 60 minutes

Find out more by visiting our website -

If you like what we do and you dream about creating this world with us - don't wait, apply now

  • Test Engineer

    2 tygodni temu

    Lublin, Lubelskie, Polska Data Modul, Inc. Pełny etat

    DATA MODUL is one of the world's leading specialist suppliers of professional, industrial display, touch, embedded, monitor and panel PC solutions. To strengthen our Test Engineer Team at our company subsidiaries in Lublin, we are looking for you at the earliest time asTest Engineer (m/f/d).Development of test concepts, test methods and test devices in...

  • Data Engineer

    2 tygodni temu

    Lublin, Lubelskie, Polska SCALO Sp. z o.o. Pełny etat

    Jesteśmy firmą technologiczną. Realizujemy projekty. Budujemy zespoły. Zapewniamy specjalistów do projektów. Za pomocą technologii wspieramy wzrost biznesowy naszych Klientów oraz tworzymy przestrzeń do ciągłego rozwoju naszego zespołu. Nasze Center of Excellence skupia najlepszych specjalistów SCALO, zajmujących się różnymi dziedzinami...

  • Big Data Engineer

    2 tygodni temu

    Lublin, Lubelskie, Polska Orange SA Pełny etat

    about the roleAs a Big Data Engineer at Orange you will use your expertise in the field of Data solutions and data pipeline development to enable the processing of a significant volume of data for various stakeholders (including Data Visualization, Data Scientists, and Data Analysts) in the GSP (Global Support for Performance which is the GBS Finance of the...

  • Senior Data Engineer z

    2 tygodni temu

    Lublin, Lubelskie, Polska dmTECH Polska Pełny etat

    dmTECH to międzynarodowy zespół ponad tysiąca ekspertek i ekspertów z różnych obszarów IT i technologii wspierających e-commerce pracujących dla dm – jednej z największych sieci drogerii w Europie. Nasza codzienna praca na realny wpływ na biznes. Przygotowywane przez nas rozwiązania każdego dnia wspierają technologicznie pracowników i...

  • Senior Data Engineer z jniemieckim

    2 tygodni temu

    Lublin, Lubelskie, Polska dmTECH Polska Pełny etat

    dmTECH to międzynarodowy zespół ponad tysiąca ekspertek i ekspertów z różnych obszarów IT i technologii wspierających e-commerce pracujących dla dm – jednej z największych sieci drogerii w Europie. Nasza codzienna praca na realny wpływ na biznes. Przygotowywane przez nas rozwiązania każdego dnia wspierają technologicznie pracowników i...

  • Senior Backend Data Engineer

    2 tygodni temu

    Lublin, Lubelskie, Polska Kalepa Pełny etat

    Who are we?Kalepa is a fully remote startup dedicated to enhancing underwriting performance and driving profitable premium growth for the commercial insurance industry. Kalepa's AI-powered Copilot software enables underwriters to focus on the highest ROI opportunities and quickly evaluate and optimally select risk. Kalepa is backed by IA Ventures, Inspired...

  • Senior Software Engineer Python

    2 tygodni temu

    Lublin, Lubelskie, Polska Akamai Technologies Pełny etat

    Senior Software Engineer Python Lublin, lubelskie Are you excited by an opportunity to contribute to the software behind the largest distributed edge and cloud platform?Are you interested in developing security services and making them even more secure, reliable and scalable?Join our Platform TeamBecome a pivotal part of Akamai Connected Cloud by joining our...

  • QA Engineer

    2 tygodni temu

    Lublin, Lubelskie, Polska SCALO Sp. z o.o. Pełny etat

    Jesteśmy firmą technologiczną. Realizujemy projekty. Budujemy zespoły. Zapewniamy specjalistów do projektów. Za pomocą technologii wspieramy wzrost biznesowy naszych Klientów oraz tworzymy przestrzeń do ciągłego rozwoju naszego zespołu. Nasze Center of Excellence skupia najlepszych specjalistów SCALO, zajmujących się różnymi dziedzinami...

  • Senior Python Engineer

    2 tygodni temu

    Lublin, Lubelskie, Polska SCALO Sp. z o.o. Pełny etat

    Jesteśmy firmą technologiczną.Realizujemy projekty. Budujemy zespoły. Zapewniamy specjalistów do projektów.Za pomocą technologii wspieramy wzrost biznesowy naszych Klientów oraz tworzymy przestrzeń do ciągłego rozwoju naszego zespołu. Nasze Center of Excellence skupia najlepszych specjalistów SCALO, zajmujących się różnymi dziedzinami...

  • Test Automation Engineer

    2 tygodni temu

    Lublin, Lubelskie, Polska Groupe SII Pełny etat

    As our worker, you will join the community of over 550 Testers at Sii. You could work in a variety of industries: medical (a system for collecting data on the course of patient treatment in one place), banking (core banking systems as well as applications designed for premium customers and managing their accounts/ portfolios), travel (travel and seat...

  • DevOps Engineer

    2 tygodni temu

    Lublin, Lubelskie, Polska SCALO Sp. z o.o. Pełny etat

    Jesteśmy firmą technologiczną.Realizujemy projekty. Budujemy zespoły. Zapewniamy specjalistów do projektów.Za pomocą technologii wspieramy wzrost biznesowy naszych Klientów oraz tworzymy przestrzeń do ciągłego rozwoju naszego zespołu. Nasze Center of Excellence skupia najlepszych specjalistów SCALO, zajmujących się różnymi dziedzinami...

  • Supplier Development Engineer

    8 minut temu

    Lublin, lubelskie, Polska Kostal Automotive Poland Pełny etat

    Company DescriptionWe are the KOSTAL Group, a global, independent family-owned company headquartered in Germany that develops and produces technologically sophisticated electronic and mechatronic products. At 46 locations in 20 countries, more than 19,000 employees work flexibly, competently and close to the customer.KOSTAL Automotive's specialty is the...

  • Java Developer/DevOps Engineer

    2 tygodni temu

    Lublin, Lubelskie, Polska SCALO Sp. z o.o. Pełny etat

    Jesteśmy firmą technologiczną.Realizujemy projekty. Budujemy zespoły. Zapewniamy specjalistów do projektów.Za pomocą technologii wspieramy wzrost biznesowy naszych Klientów oraz tworzymy przestrzeń do ciągłego rozwoju naszego zespołu. Nasze Center of Excellence skupia najlepszych specjalistów SCALO, zajmujących się różnymi dziedzinami...

  • NET Developer/DevOps Engineer

    2 tygodni temu

    Lublin, Lubelskie, Polska SCALO Sp. z o.o. Pełny etat

    Jesteśmy firmą technologiczną.Realizujemy projekty. Budujemy zespoły. Zapewniamy specjalistów do projektów.Za pomocą technologii wspieramy wzrost biznesowy naszych Klientów oraz tworzymy przestrzeń do ciągłego rozwoju naszego zespołu. Nasze Center of Excellence skupia najlepszych specjalistów SCALO, zajmujących się różnymi dziedzinami...

  • Senior Cloud Data Engineer Azure and Snowflake

    2 tygodni temu

    Lublin, Lubelskie, Polska Future Processing Pełny etat

    Szukamy Ciebie, jeśli:masz min. 5 lat doświadczenia w IT, w tym min. 3, 5 roku w pracy z danymi w chmurze (potwierdzone projektami komercyjnymi wdrożonymi na produkcje),posiadasz zaawansowaną znajomość platformy Snowflake i doświadczenie w pracy z jej narzędziami;korzystasz z SQL na poziomie zaawansowanym i wykorzystujesz go na rozwiązaniach...

  • Senior Full-Stack Software Engineer

    2 tygodni temu

    Lublin, Lubelskie, Polska Duco Pełny etat

    Senior Full-Stack Software Engineer (NodeJS/GraphQL/TS/React) Lublin, Lublin Voivodeship About UsThanks to the recent acquisition Duco and Metamaze are making waves as one familyBusinesses in the digital economy succeed or fail based on their ability to deal with masses of data and complexity quickly and efficiently, and many of the world's leading companies...

  • Staff Software Engineer Furnishing Platform

    2 tygodni temu

    Lublin, Lubelskie, Polska Affirm Pełny etat

    We are looking for a highly motivated Staff Software Engineer in our Furnishing Platform team to build scalable systems and data pipelines to power our consumer credit reporting. You will partner closely with our Product, Compliance, Servicing, and Credit teams to design robust reporting systems. The systems you will work on are vital for delivering accurate...

  • Senior AI/ML Engineer

    2 tygodni temu

    Lublin, Lubelskie, Polska Sii Pełny etat

    Join Sii and help develop highly specialized software and IT tools for legal, tax, accounting, trading, and compliance professionals, in conjunction with the world's largest information serviceAs a Senior AI/ML Engineer, you will be part of a global interdisciplinary team of experts driving the company's digital transformation. We are looking for a flexible...

  • Big Data Engineer

    4 tygodni temu

    Lublin, Polska Orange Polska Pełny etat

    Big Data Engineer Miejsce pracy: Lublin Technologies we use Expected SQL noSQL Scala Python Java Power BI About the project As a Big Data Engineer at Orange you will use your expertise in the field of Data solutions and data pipeline development to enable the processing of a significant volume of data for various stakeholders (including Data...

  • Big Data Engineer @

    2 tygodni temu

    Lublin, Polska Orange Polska Pełny etat

    As a Big Data Engineer at Orange you will use your expertise in the field of Data solutions and data pipeline development to enable the processing of a significant volume of data for various stakeholders (including Data Visualization, Data Scientists, and Data Analysts) in the GSP (Global Support for Performance which is the GBS Finance of the Orange Group)....

  • Big Data Engineer

    2 tygodni temu

    Lublin, Polska Orange Polska Pełny etat

    Big Data Engineer Miejsce pracy: Lublin Technologies we use Expected SQLnoSQLScalaPythonJavaPower BIAbout the project As a Big Data Engineer at Orange you will use your expertise in the field of Data solutions and data pipeline development to enable the processing of a significant volume of data for various stakeholders (including Data Visualization, Data...

  • Big Data Engineer

    2 miesięcy temu

    Lublin, Polska Orange Polska Pełny etat

    technologies-expected : SQL noSQL Scala Python Java Power BI about-project : As a Big Data Engineer at Orange you will use your expertise in the field of Data solutions and data pipeline development to enable the processing of a significant volume of data for various stakeholders (including Data Visualization, Data Scientists, and Data Analysts) in the GSP...

  • Big Data Engineer

    2 miesięcy temu

    Lublin, Polska Orange Polska Pełny etat

    Expected, SQL, noSQL, Scala, Python, Java, Power BI About the project, As a Big Data Engineer at Orange you will use your expertise in the field of Data solutions and data pipeline development to enable the processing of a significant volume of data for various stakeholders (including Data Visualization, Data Scientists, and Data Analysts) in the GSP (Global...

  • Big Data Engineer

    4 tygodni temu

    Lublin, Polska Orange Polska Pełny etat

    Expected, SQL, noSQL, Scala, Python, Java, Power BI About the project, As a Big Data Engineer at Orange you will use your expertise in the field of Data solutions and data pipeline development to enable the processing of a significant volume of data for various stakeholders (including Data Visualization, Data Scientists, and Data Analysts) in the GSP (Global...

  • Big Data Engineer

    2 tygodni temu

    Lublin, Polska Orange Polska Pełny etat

    Expected, SQL, noSQL, Scala, Python, Java, Power BIAbout the project, As a Big Data Engineer at Orange you will use your expertise in the field of Data solutions and data pipeline development to enable the processing of a significant volume of data for various stakeholders (including Data Visualization, Data Scientists, and Data Analysts) in the GSP (Global...

  • Big Data Engineer

    2 tygodni temu

    Lublin, Polska Orange Polska Pełny etat

    technologies-expected :SQLnoSQLScalaPythonJavaPower BIabout-project :As a Big Data Engineer at Orange you will use your expertise in the field of Data solutions and data pipeline development to enable the processing of a significant volume of data for various stakeholders (including Data Visualization, Data Scientists, and Data Analysts) in the GSP (Global...

  • Big Data Engineer @ Orange Polska

    2 miesięcy temu

    Lublin, Polska Orange Polska Pełny etat

    As a Big Data Engineer at Orange you will use your expertise in the field of Data solutions and data pipeline development to enable the processing of a significant volume of data for various stakeholders (including Data Visualization, Data Scientists, and Data Analysts) in the GSP (Global Support for Performance which is the GBS Finance of the Orange Group)....

  • Staff Data Engineer

    1 miesiąc temu

    Lublin, Polska Shaped Thoughts Pełny etat

    We are looking for a Staff Data Engineer who wants to join an outstanding engineering team that will develop a cutting-edge data platform in the insurance sector. Who are we ? We are a remote-first boutique software house company formed by a group of seasoned software experts (the average experience in the team is 12 years). What connected all of us,...

  • Data Engineer

    1 tydzień temu

    Lublin, Polska SCALO Sp. z o.o. Pełny etat

    Jesteśmy firmą technologiczną. Realizujemy projekty. Budujemy zespoły. Zapewniamy specjalistów do projektów. Za pomocą technologii wspieramy wzrost biznesowy naszych Klientów oraz tworzymy przestrzeń do ciągłego rozwoju naszego zespołu. Nasze Center of Excellence skupia najlepszych specjalistów SCALO, zajmujących się różnymi dziedzinami...

  • Master Data Management Engineer

    2 dni temu

    Lublin, Polska SCALO Sp. z o.o. Pełny etat

    Jesteśmy firmą technologiczną.Realizujemy projekty. Budujemy zespoły. Zapewniamy specjalistów do projektów.Za pomocą technologii wspieramy wzrost biznesowy naszych Klientów oraz tworzymy przestrzeń do ciągłego rozwoju naszego zespołu. Nasze Center of Excellence skupia najlepszych specjalistów SCALO, zajmujących się różnymi dziedzinami...

  • Senior Data Engineer

    2 tygodni temu

    Lublin, Polska DataArt Pełny etat

    Responsibilities Develop, operate, optimize, test, and maintain the business’s data warehouse, as well as develop ETL processes, cube development for database and performance administration, and dimensional designing of table structures Drive the full life-cycle of back-end development of the business’s data warehouse, as well as develop ETL...

  • Senior Backend Data Engineer

    2 tygodni temu

    centrum, Lublin, Polska Kalepa Pełny etat

    Who are we?Kalepa is a fully remote startup dedicated to enhancing underwriting performance and driving profitable premium growth for the commercial insurance industry. Kalepa's AI-powered Copilot software enables underwriters to focus on the highest ROI opportunities and quickly evaluate and optimally select risk. Kalepa is backed by IA Ventures, Inspired...

  • DevOps Engineer

    1 miesiąc temu

    Lublin, Polska SCALO Sp. z o.o. Pełny etat

    Jesteśmy firmą technologiczną.Realizujemy projekty. Budujemy zespoły. Zapewniamy specjalistów do projektów.Za pomocą technologii wspieramy wzrost biznesowy naszych Klientów oraz tworzymy przestrzeń do ciągłego rozwoju naszego zespołu. Nasze Center of Excellence skupia najlepszych specjalistów SCALO, zajmujących się różnymi dziedzinami...

  • DevOps Engineer

    4 tygodni temu

    Lublin, Polska SCALO Sp. z o.o. Pełny etat

    Jesteśmy firmą technologiczną.Realizujemy projekty. Budujemy zespoły. Zapewniamy specjalistów do projektów.Za pomocą technologii wspieramy wzrost biznesowy naszych Klientów oraz tworzymy przestrzeń do ciągłego rozwoju naszego zespołu. Nasze Center of Excellence skupia najlepszych specjalistów SCALO, zajmujących się różnymi dziedzinami...

  • DevOps Engineer

    7 dni temu

    Lublin, Polska Fenige S.A. Pełny etat

    DevOps Engineer (AWS) Miejsce pracy: Lublin Technologie, których używamy Wymagane AWS Python Bash PowerShell Terraform Ansible Puppet Docker Kubernetes Linux Unix Git Mile widziane Artifactory Nexus System operacyjny Windows O projekcie Poszukujemy doświadczonego DevOps Engineer (AWS), który dołączy do naszego zespołu i pomoże nam w tworzeniu...

  • Python Engineer

    4 tygodni temu

    Lublin, Polska SCALO Sp. z o.o. Pełny etat

    Jesteśmy firmą technologiczną.Realizujemy projekty. Budujemy zespoły. Zapewniamy specjalistów do projektów.Za pomocą technologii wspieramy wzrost biznesowy naszych Klientów oraz tworzymy przestrzeń do ciągłego rozwoju naszego zespołu. Nasze Center of Excellence skupia najlepszych specjalistów SCALO, zajmujących się różnymi dziedzinami...

  • Python Engineer

    1 miesiąc temu

    Lublin, Polska SCALO Sp. z o.o. Pełny etat

    Jesteśmy firmą technologiczną.Realizujemy projekty. Budujemy zespoły. Zapewniamy specjalistów do projektów.Za pomocą technologii wspieramy wzrost biznesowy naszych Klientów oraz tworzymy przestrzeń do ciągłego rozwoju naszego zespołu. Nasze Center of Excellence skupia najlepszych specjalistów SCALO, zajmujących się różnymi dziedzinami...

  • Senior Python Engineer

    4 tygodni temu

    Lublin, Polska SCALO Sp. z o.o. Pełny etat

    Jesteśmy firmą technologiczną.Realizujemy projekty. Budujemy zespoły. Zapewniamy specjalistów do projektów.Za pomocą technologii wspieramy wzrost biznesowy naszych Klientów oraz tworzymy przestrzeń do ciągłego rozwoju naszego zespołu. Nasze Center of Excellence skupia najlepszych specjalistów SCALO, zajmujących się różnymi dziedzinami...